Nginx 错误的 Logstash grok 模式不适用于所有行

Question

我有一个 nginx 错误日志的 grok 模式：

(?<timestamp>%{YEAR}[./]%{MONTHNUM}[./]%{MONTHDAY} %{TIME}) \[%{LOGLEVEL:severity}\] %{POSINT:pid}#%{NUMBER:threadid}\: \*%{NUMBER:connectionid} %{GREEDYDATA:text}, client: %{IP:client}, server: %{GREEDYDATA:server}, request: \"(?:%{WORD:requesttype} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion}))\"(, upstream: "%{GREEDYDATA:upstream}\")?, host: "%{DATA:host}\"(, referrer: \"%{GREEDYDATA:referrer}\")?

我也有这样的错误

2022/01/17 08:23:39 [error] 8#8: *0000016 this is my error message, client: 1.2.3.4, server: my.server.name, request: "GET /my/url/ HTTP/1.1", upstream: "http://upstream.server.name", host: "my.server.name", referrer: "https://referrer.server.name/"
2022/01/17 12:30:41 [error] 8#8: *0000016 access forbidden by rule, client: 1.2.3.4, server: my.server.name, request: "GET / HTTP/2.0", host: "my.server.name"
2022/01/17 08:23:39 [error] 8#8: *0000016 could not be resolved

为了测试，我在 appspot 中使用了 grokconstructor，我的 grok 模式在前两行中运行良好，但我无法使其在最后一行中运行：

哪种模式适用于所有三行？

Answer 1

这会起作用：

(?<timestamp>%{YEAR}[./]%{MONTHNUM}[./]%{MONTHDAY} %{TIME}) \[%{LOGLEVEL:severity}\] %{POSINT:pid}#%{NUMBER:threadid}\: \*%{NUMBER:connectionid} %{DATA:text}(, client: %{IP:client}, server: %{GREEDYDATA:server}, request: \"(?:%{WORD:requesttype} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion}))\"(, upstream: "%{GREEDYDATA:upstream}\")?, host: "%{DATA:host}\"(, referrer: \"%{GREEDYDATA:referrer}\")?)?$.

最后一部分是可选的 ()?。

请注意，对于前两行末尾的键值对，您应该使用 kv 插件而不是在 grok 中进行。因此，使用 grok 过滤器将该部分存储在一个临时字段中，如下所示：

(?<timestamp>%{YEAR}[./]%{MONTHNUM}[./]%{MONTHDAY} %{TIME})     \[%{LOGLEVEL:severity}\] %{POSINT:pid}#%{NUMBER:threadid}\: \*%{NUMBER:connectionid} %{DATA:text}(, %{GREEDYDATA:kv_value})?$

然后在 kv_value 上使用 kv 过滤器：

  kv {
    field_split => " ,"
    value_spliy => ": "
    trim_value => "\""
    source => "kv_value"
  }

在这两种情况下，不要忘记 grok 模式末尾的 $，因为如果没有，它将无法正常工作。

Nginx 错误的 Logstash grok 模式不适用于所有行

Logstash grok pattern for nginx error dosen't work for all lines

nginx

logstash

logstash-grok