Logstash：无法将 apache vhost_combined 自定义日志和 post 过滤到 Elasticsearch

Question

我需要使用 Geo IP 过滤以下 apache vhost 日志格式。使grok能够理解并顺利工作。

准确的日志格式：

LogFormat "%V:%p %h %l %u %t \"%r\" %>s %O %T %D \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined_custom

你看到 %T 和 %D 标志在这里是多余的。

留言：

sub1.example.com:443 1.9.202.41 - - [03/Jun/2016:06:58:17 +0000] "GET /notifications/pendingCount HTTP/1.1" 200 591 0 32165 "https://sub1.example.com/path/index?var=871190" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"

有什么建议吗？

Answer 1

好的，经过多次测试，我找到了解决方案。应该是这样的：

grok {                                                                                           
      match => { "message" => "%{IPORHOST:vhost}:%{POSINT:port} %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} %{NUMBER:bytes} %{NUMBER:seconds} %{NUMBER:microseconds} %{QS:referrer} %{QS:agent}" }
}

Answer 2

您还可以这样做：

match => { "message" => "%{HOSTNAME:vhost}\:%{NUMBER:port} %{COMBINEDAPACHELOG}"}

根据Rene's blog

Logstash：无法将 apache vhost_combined 自定义日志和 post 过滤到 Elasticsearch

Logstash: Unable to filter apache vhost_combined custom log and post them into Elasticsearch

logstash

logstash-grok

elastic-stack

filebeat