带有 197001011 的流利和 webhdfs 文件名

Question

我运行 ubuntu 14.04 上的 td-agent 具有以下配置：


    <source>
     type tail
     format json
     path /path/tomcat/logs/file-input.log
     tag bhc.hdfs
     pos_file /var/td-agent/file.pos
     </source>

    <match bhc.hdfs>
     type webhdfs
     port 50070
     host my.host.name
     path /hdfs/path/file.${hostname}.%Y%m%d.log
     username user
     flush_interval 10s
     output_include_time false
     output_include_tag false
     output_data_type json
    </match>

目录 /path/tomcat/logs/file-input.log 中的日志源文件仅包含结构化 json 数据。 Ntp 守护程序已安装并且运行ning 但是当 td-agent 在 hdfs 中创建文件时，文件名上的日期是 19700101。怎么了？

Answer 1

Fluentd 记录有时间，webhdfs 插件使用该记录的时间戳创建文件，而不是当前时间。

tail 插件默认使用名为 time 的字段作为记录时间。如果您的日志数据有任何其他时间信息字段，您可以使用 time_key 和 time_format.

指定它

另请参阅：http://docs.fluentd.org/articles/in_tail

带有 197001011 的流利和 webhdfs 文件名

fluent and webhdfs filename with 197001011

fluent

fluentd

webhdfs