Google Fluentd 解码 Base64

Question

我有日志文件，在两个标签 RecordStart 和 RecordEnd 之间记录了记录的消息是 base64 编码的我想使用 google-fluentd 解码消息等等它可以发送到其他服务。我的配置：

<source>
  @type tail
  path <path_ot>/metrics.log
  pos_file /var/lib/google-fluentd/pos/metrics.pos
  read_from_head true
  format  multiline
  multiline_flush_interval 2s
  format_firstline /^RecordStart/
  format1 /^RecordStart\n(?<record>(\n|.)*)RecordEnd$/
  tag presto_server
</source>

我不知道如何解码 base64 有什么帮助吗？

Answer 1

尝试使用 filter plugin to decode base64 个文件。

在这种情况下，您的配置文件可能如下所示：

<source>
  @type tail
  path <path_ot>/metrics.log
  pos_file /var/lib/google-fluentd/pos/metrics.pos
  read_from_head true
  format  multiline
  multiline_flush_interval 2s
  format_firstline /^RecordStart/
  format1 /^RecordStart\n(?<record>(\n|.)*)RecordEnd$/
  tag presto_server
</source>

<filter presto_server>
  type base64_decode
  fields mesg
</filter>

这是对我找到的配置文件的改编 here。

您可能还会发现此文档有帮助：HYow to modify log records 由 fluentd 摄取。

Google Fluentd 解码 Base64

Google Fluentd Decode Base64

fluentd

google-cloud-platform