ELK stack - 如何将所有旧日志回填到 elasticsearch 中？

Question

我已经将 ELK + filebeat 设置为输入日志，但想将所有旧日志回填到 logstash/ES。我怎样才能做到这一点？人们提到删除 sincedb 文件 and/or 将其添加到我的 logstash input.conf:

  file {
      path => "/var/log/xx/xx.log"
      start_position => "beginning"
      sincedb_path => "/dev/null"
     }

但是我将它添加到我的输入 conf 并重新启动了 logstash，但仍然没有在 Kibana 中看到旧日志。我也找不到大家提到的sincedb_*文件。我的 ELK 节点是 RHEL 服务器。

谢谢

Answer 1

如果这些文件是旧的，最好也将 ignore_older => 0 添加到您的配置中。

  file {
      path => "/var/log/ptsfd-mms/ptsfd-mms.log"
      start_position => "beginning"
      sincedb_path => "/dev/null"
      ignore_older => 0
  }