grok 不解析日志

Question

日志样本


[2020-01-09 04:45:56] VERBOSE[20735][C-0000ccf3] pbx.c: Executing [9081228577525@from-internal:9] Macro("PJSIP/3512-00010e39", "dialout-trunk,1,081228577525,,off") in new stack

我正在尝试解析一些日志，我已经测试了我所做的一些日志，它返回了我需要的结果。但是当我将它与我的配置和运行结合起来时，日志没有解析到索引中。

这是我的配置：

input{
        beats{
                port=>5044
        }
}
filter
{
        if [type]=="asterisk_debug"
        {
                if [message] =~ /^\[/
                {
                        grok
                        {
                                match =>
                                {
                                        "message" => "\[%{TIMESTAMP_ISO8601:log_timestamp}\] +(?<log_level>(?i)(?:debug|notice|warning|error|verbose|dtmf|fax|security)(?-i))\[%{INT:thread_id}\](?:\[%{DATA:call_thread_id}\])? %{DATA:module_name}\: %{GREEDYDATA:log_message}"
                                }
                                add_field => [ "received_timestamp", "%{@timestamp}"]
                                add_field => [ "process_name", "asterisk"]
                        }
                        if ![log_message]
                        {
                mutate
                {
                    add_field => {"log_message" => ""}
                }
            }
            if [log_message] =~ /^Executing/ and [module_name] == "pbx.c"
            {
                grok
                {
                        match =>
                        {
                                "log_message" => "Executing +\[%{DATA:TARGET}@%{DATA:dialplan_context}:%{INT:dialplan_priority}\] +%{DATA:asterisk_app}\(\"%{DATA:protocol}/%{DATA:Ext}-%{DATA:Channel}\",+ \"%{DATA:procedure},%{INT:trunk},%{DATA:dest},,%{DATA:mode}\"\) %{GREEDYDATA:log_message}"
                        }
                }

            }
                }
        }
}
output{
        elasticsearch{
        hosts=>"127.0.0.1:9200"
        index=>"new_asterisk"
}
}

当我将它检入 kibana 索引时，索引只显示原始日志。问题：为什么我的 conf 不解析日志，即使是我已经成功测试的 grok（由我）。

已解决

log不进入if条件

Answer 1

您的 grok-actions 似乎根本没有得到应用，因为数据是原始索引并且没有抛出错误标记。显然，您的文档不包含值为 asterisk_debug 的字段 type，这是您执行 grok-actions 的条件。

要验证这一点，您可以实现一个简单的 else-path，添加一个字段或标记，指示不满足条件，如下所示：

filter{
  if [type]=="asterisk_debug"{
    # your grok's ...
  }
  else{
    mutate{
      add_tag => [ "no_asterisk_debug_type" ]
    }
  }
}

grok 不解析日志

grok not parsing logs

elasticsearch

logstash

logstash-grok

日志样本

已解决