日志数据在Kibana展示前如何处理和标注，使用filebeat进行logstash转发

Question

我正在努力学习 ELK。我在一台主机上设置了 Filebeat，该主机将日志转发到另一台服务器上的 logstash，该服务器将日志转发到 elasticsearch。

filebeat转发的日志是/var/log/messages和/var/log/sa/* /var/log/*.log , /var/log/sample/access.log

当我在 kibana 中看到消息时，源是日志来源的文件名，但整个消息都在一个文件中 "message"，但是我想显示每个日志数据在单独的标签中归档，就像在访问日志中一样，我们得到很多字段，如：源 IP、响应代码、花费的时间、字节大小等。所以每个标签都应该有不同的变量名，这样就很容易用 timelion

中的那些生成图表

Kibana 中有没有像 splunk 一样的方法，我可以在任何字段值上使用正则表达式并使用其中的数据创建变量，然后使用该变量生成图形？

预先感谢您的回复。

感谢回复

编辑：我为 sar load avg

尝试了以下模式

filter {
if [source] == "sarLoadLog.log" {
      grok {
        match => { "message" => %{GREEDYDATA:time_12} %{NUMBER:runqsz} %{NUMBER:plistsz} %{NUMBER:ldavg1} %{NUMBER:ldavg5} %{NUMBER:ldavg15} %{NUMBER:blocked} }
      }
    }
}

但它不起作用，我尝试了 grok 调试器并在那里工作

下面是这个

的数据

05:36:01 PM         3       300      0.00      0.02      0.05         0

Answer 1

您可以使用 logstash 实现预期结果，因为您已经在设置中对其进行了配置。

您需要在 logstash 中配置过滤器插件以将日志解析为单独的字段，以便能够在这些字段上进行聚合和可视化。请参阅以下 link 以开始使用：

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

具体看下面的滤镜插件

https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

日志数据在Kibana展示前如何处理和标注，使用filebeat进行logstash转发

How to process and label the log data before showing in Kibana, using filebeat to logstash forwarding

kibana

logstash-grok

elasticsearch-dsl

elastic-stack

filebeat