Logstash 自动更新数据

Question

我正在使用最新版本的 logstash(7.6.2)。我尝试上传示例数据，并能够使用 logstash（启用自动重新加载）将其成功上传到 elasticsearch，并且能够在 Kibana 界面中看到索引。

但是，当我更改以下配置文件时，我无法在 Kibana 界面中看到更新后的数据。我试图删除 mutate 过滤器插件并重新加载 logstash 管道，但 Kibana 中的数据未更新。有趣的是它没有抛出任何错误。

Sample.conf

input{
file{
    path => "/usr/local/Cellar/sample.log"
    start_position => "beginning"
}
}

filter{
    grok{
        match => ["message", "%{TIMESTAMP_ISO8601:timestamp_string}%{SPACE}%{GREEDYDATA:line}"]
    }
    date{
        match => ["timestamp_string", "ISO8601"]
    }
    mutate{
        remove_field => [message, timestamp_string]
    }
}
output{
elasticsearch{
    hosts => ["localhost:9200"]
    index => "sample"
}
stdout{
    codec => rubydebug
}
}

在此感谢任何帮助。 TIA

P.S。 - 我是 ElasticSearch 新手！

Answer 1

如果要重新解析一个完整的文件，需要:

删除sindedb文件
或者只删除sincedb文件中对应的行

然后，重新启动 Logstash。 Logstash 将重新分析文件。

更多信息：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#sincedb_path

Logstash 自动更新数据

Logstash Auto update Data

logstash

logstash-configuration