Filebeat - 传输和处理格式为 key=value 的配置文件

Filebeat - shipping and processing configuration files in format key=value

我正在使用 Filebeat 将日志发送到 Logstash,然后从那里发送到 ElasticSearch。

我也想发送配置文件,但我想对其进行解码并将其转换为 json 或任何其他格式,让我 运行 基于配置键进行聚合查询和值。

我的档案:

key1=val1
key2=val2
key3=val3

在 Kibana 中,我想做一些基于 key1 的聚合,例如..

有没有像 decode_json 或 decode_csv 这样的处理器可以使用?

解析此数据流的机制必须在 logstash 端进行管理,而不是在 filebeat 上进行管理,filebeat 必须在主机上保持最小的占用空间。

因此考虑到这一点,您必须在 logstash 配置文件中设置过滤器,该文件必须如下所示:

filter{
  kv{}
}

更多细节请看官方文档here