Logstash 日期格式无效

Question

正在尝试解析来自 rsylog 服务器的日志并将它们插入到 elasticsearch。
我的日志是

Feb 13 01:17:11 xxxx xxx-xxxx_error 2016/02/13 01:17:02 [error] 13689#0: *1956118 open() "xxxxxx" failed (2: No such file or directory), client: xx.xx.xx.xx, server: xxxxx.xx, request: "xxxxxxx HTTP/1.1", host: "xxxxx.xx"

我正在使用以下 logstash 过滤器提取字段：

grok {
match => {
    "message" => [
            "(?<logstamp>\h{3} \d{2} \d{2}:\d{2}:\d{2}) %{WORD:hostname} (?<source>[^\s]+) (?<timestamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) %{GREEDYDATA:error_message}" 
 ]
 }

date {
locale => "en"
match => [ "timestamp", "yyyy/MM/dd HH:mm:ss" ]
    }
}

mutate {
remove_field => [ "@version", "_score", "message", "host", "_type", "logstamp" ]
}

基于http://grokdebug.herokuapp.com/，我的语法是合理的。
我在日志行中有两个日期，因为第一个是 rsyslog 收到该行的时间，第二个是来自 nginx 的日期。我想要的是将第二个传递给"timestamp"。

我在 logstash 中得到的错误是：

@metadata_accessors=#<LogStash::Util::Accessors:0x1d630482 @store={"path"=>"..."}, @lut={"[path]"=>[{"path"=>"..."}, 
"path"]}>, @cancelled=false>], :response=>{"create"=>{"_index"=>"...", "_type"=>"...", "_id"=>"...", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", 
"reason"=>"failed to parse [timestamp]", "caused_by"=>{"type"=>"illegal_argument_exception",
"reason"=>"Invalid format: \"2016/02/16 12:25:16\" is malformed at \"/02/16 12:25:16\""}}}}, :level=>:warn}

（我剪裁了输出以使其更短）

编辑：工作配置
我最终将时间戳从 Nginx 日志转换为更标准的时间戳（如 ruby 部分所示），并在 date 匹配中使用该时间戳作为 @timestamp.

  grok {
match => {
    "message" => [
            "(?<logstamp>\h{3} \d{2} \d{2}:\d{2}:\d{2}) %{WORD:hostname} (?<source>[^\s]+) (?<ngxstamp>[^\s]+ [^\s]+) %{GREEDYDATA:error_message}"
     ]
    }
}

ruby {
code => "event['ngxstamp'] = event.timestamp.time.localtime.strftime('%Y-%m-%d %H:%M:%S')"
}

date {
match => [ "ngxstamp", "yyyy-MM-dd HH:mm:ss" ]
locale => "en"
}

mutate {
remove_field => [ "@version", "_score", "message", "host", "_type", "logstamp" ]
}

Answer 1

由于 timestamp 字段的类型是 strict_date_optional_time，因此您应该在 date 过滤器中使用的日期模式应该是

yyyy-MM-dd HH:mm:ss

而不是

yyyy/mm/dd HH:mm:ss

所以：

在日期部分使用破折号而不是斜线
月份

MM

mm

日期和时间部分之间缺少 T 可能仍然存在问题，因为 strict_date_optional_time 强制这样做。

Logstash 日期格式无效

Logstash date invalid format

parsing

elasticsearch

logstash

grok