AWS Kinesis Analytics - Apache 自定义访问日志架构问题

AWS Kinesis Analytics - Apache custom access log schema issue

我正在尝试在 Apache 访问日志之上使用运动分析。我正在使用具有县代码的自定义格式(使用 geoip 模块)。

但它没有正确检测架构。

日志格式:

LogFormat "%{GEOIP_COUNTRY_CODE}e %a %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined

运动模式检测:

没关系,我找到了解决方案。

一般来说,Kinesis 对于一些标准格式的模式来说已经相当成熟了。即使在代理 conf 文件中,如果我们提到 logformat:COMBINEDAPACHELOG,它也会检测架构。

但我使用了自定义日志格式。所以我们需要手动编辑模式并添加缺失的字段。 space 也不是分隔符的好选择。所以我将apache日志格式中的分隔符修改为pipe

然后手动编辑架构并提到管道作为分隔符。之后,我得到了准确格式化的数据。