Logstash 文件输入：sincedb_path

Question

重新启动 Logstash 后，有时会观察到 Logstash 会重复日志事件。想知道应用 start_position、sincedb_path、sincedb_write_interval 配置选项的正确方法是什么。

当多个文件位于我下面示例中的同一位置时会发生什么情况 /home/tom/testData/*.log
发生文件轮换时会发生什么，例如 XXX.log 文件重命名为 XXX-<date>.log 并创建新的 XXX.log 文件。在这种情况下，名称不会改变，但 inode 会改变。

如果有人能对此有所了解，我们将不胜感激。

input {
           file {
             path => "/home/tom/testData/*.log"
             type => "log"
             start_position => "beginning"
             sincedb_path => "/persistent/loc"        
             sincedb_write_interval => 10
               }
       }

Answer 1

start_position（开头或结尾）仅用于logstash 尚未看到的文件。使用 'beginning' 的唯一原因是当您尝试加载旧文件时。

sincedb_path只需要是logstash对registry有写权限的目录即可

sincedb_write_interval 定义 logstash 写入 sincedb 注册表的频率。较大的值会使您面临 logstash 崩溃的风险。

当您有多个文件与您的 glob 相匹配时，logstash 通过在注册表中设置多个条目来分别跟踪它们。

注册表包含 inode 编号，因此 logstash 知道在那种类型的轮换中要做什么。

Logstash 文件输入：sincedb_path

Logstash File input: sincedb_path

logstash

logstash-file

logstash-configuration