使用日志的自定义 Java 时间戳格式的 ELK Logstash 中的日期解析问题
Date parsing issue in ELK Logstash with the custom Java timestamp format of logs
以下是从 java 应用程序
收到的示例日志
2019-04-11 9:08:22:562 Log 1
2019-04-11 9:08:22:660 Log 2
2019-04-11 9:08:43:79 Log 3
2019-04-11 9:08:43:156 Log 4
从上面的日志中，我遇到了 Log 3 的问题，其中毫秒值仅为 79，但在 Logstash 中解析后，该值设置为 790 毫秒（Logstash 解析正确，但是 java日志值错误）。实际上，日志中的值应该是 2019-04-11 9:08:43:079 以便正确解析。
Logstash 过滤器如下：
date {
match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
target => "log_time"
timezone => "CET"
}
深入挖掘后，我发现问题出在 Java 使用此时间格式进行日志记录，如果格式为 yyyy-MM-dd HH:mm:ss.SSS，问题将得到解决。但是日志应用程序使用的格式 yyyy-MM-dd HH:mm:ss:SSS 导致了这个问题（注意格式 :SSS 和 .SSS 的区别）。
我无法更改日志记录 java 系统，那么是否有任何解决此问题的 Logstash 过滤器的解决方法。
我通过向只有 2 位数字的毫秒插入 0 前缀解决了这个问题，使用以下 gsub:
mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "0",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "" ] }
的帮助
以下是从 java 应用程序
收到的示例日志2019-04-11 9:08:22:562 Log 1
2019-04-11 9:08:22:660 Log 2
2019-04-11 9:08:43:79 Log 3
2019-04-11 9:08:43:156 Log 4
从上面的日志中，我遇到了 Log 3 的问题，其中毫秒值仅为 79，但在 Logstash 中解析后，该值设置为 790 毫秒（Logstash 解析正确，但是 java日志值错误）。实际上，日志中的值应该是 2019-04-11 9:08:43:079 以便正确解析。
Logstash 过滤器如下：
date {
match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
target => "log_time"
timezone => "CET"
}
深入挖掘后，我发现问题出在 Java 使用此时间格式进行日志记录，如果格式为 yyyy-MM-dd HH:mm:ss.SSS，问题将得到解决。但是日志应用程序使用的格式 yyyy-MM-dd HH:mm:ss:SSS 导致了这个问题（注意格式 :SSS 和 .SSS 的区别）。
我无法更改日志记录 java 系统，那么是否有任何解决此问题的 Logstash 过滤器的解决方法。
我通过向只有 2 位数字的毫秒插入 0 前缀解决了这个问题，使用以下 gsub:
mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "0",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "" ] }