Logstash 始终在 PipeLine 中保留一条消息

Question

我正在使用 Logstash 从文件中读取和解析日志并将它们发送到基于 Rest 的 API。我的托运人工作正常，但我遇到了一个奇怪的行为。

Version:
logstash-2.3.2

问题：

当 Logstash shipper 解析第一个日志条目时，它不会发送它，而是将它保留在管道中。当它解析第二个日志条目时，它会将第一个日志条目发送到 API。因此，一条消息始终保留在管道中，并且不会发送到我的 API。

每当我停止我的 Logstash 发货程序进程时，它也会发送最后一条剩余消息。所以，从某种意义上说，没有消息丢失，但发货人总是落后一条消息。

问题： 为什么 Logstash 无法清除其管道并在收到消息后立即将消息发送到 API。

Answer 1

您应该粘贴您的 logstash 配置和日志格式以获得正确答案，但是根据您所描述的内容，您似乎正在使用多行插件。所以从 logstash 2.2 开始，在 Codec 中有一个 auto_flush_interval for multline plugin。基本上这个 'auto_flush_interval' 可以设置为几秒，如果多行输入插件在指定的秒数之前不监听任何日志行，那么它会将管道中待处理的输入刷新到你的 API.. .

有关示例和更多信息，请查看：

input {
  file {
    path => "$LogstashFilePathValue"
    type => "DemandwareError"
    tags => "$EnvironmentName"
    start_position => "beginning"
    sincedb_path => "NUL"
    codec => multiline {
        pattern => "\A\[%{TIMESTAMP_ISO8601:demandware_timestamp} GMT\]"
        negate => true
        what => previous
        auto_flush_interval => 10
    }
  }
}

示例来自link：https://github.com/elastic/logstash/issues/1482 有关 auto_flush_interval 的更多信息，请访问：https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html#plugins-codecs-multiline-auto_flush_interval

Logstash 始终在 PipeLine 中保留一条消息

Logstash Always Keeps One message in PipeLine

logstash

logstash-grok

logstash-configuration

logstash-forwarder

logstash-file