从 stdout 读取 JSON 和纯文本

Question

我有这个 fluentd 过滤器：

<filter **>
  @type parser
  @log_level trace
  format json
  key_name log
  hash_value_field fields
</filter>

我正在写一些 JSON 到 stdout 并且一切正常。

但是当我也在写一些普通的非 JSON 文本时，比如 Debugger listening on ws://0.0.0.0:9229/459316ca-5ec5-43e4-ae5d-d4651eca2c9e 到 stdout（或 stderr），我得到这个错误：

fluent/log.rb:342:warn: dump an error event: 
error_class=Fluent::Plugin::Parser::ParserError 
error="pattern not match with data 
'Debugger listening on ws://0.0.0.0:9229/459316ca-5ec5-43e4-ae5d-d4651eca2c9e'"

有没有一种方法可以使用 fluentd 解析和转发两者而不会出错？

是否可以像 { message: "Debugger listening on ws://0.0.0.0:9229/459316ca-5ec5-43e4-ae5d-d4651eca2c9e" } 那样将纯文本包装在 JSON 字符串中？

根据@Imran 的回答更新：

这是我的 docker.compose.yml:

version: "2"

services:

  fluentd:
     build: ../fluentd
     command: /bin/sh -c "/fluentd/config.sh && fluentd -c /fluentd/etc/fluent.conf -v"
     ports:
      - "24224:24224"
     environment: 
      - AWS_REGION
      - AWS_ACCESS_KEY_ID
      - AWS_SECRET_ACCESS_KEY
  service:
    build:
      context: ../service
      args:
        - NPM_TOKEN
    command:  node --inspect=0.0.0.0 index.js
    ports:
       - "3000:80"
    volumes :
      - ../service/:/app
    logging:
      driver: fluentd
      options:
        fluentd-address: localhost:24224
        tag: 'docker.{{.ImageName}}.{{.Name}}.{{.ID}}'

这是我的更新 fluent.conf:

<source>
  @type forward
  port 24224
</source>

# JSON-Parse
<filter docker.**>
  @type parser
  @log_level trace
  format json
  key_name log
  hash_value_field fields
</filter>

<label @ERROR>
  <match docker.**>
    @type stdout
  </match>
</label>

<match docker.**>
  @type stdout
  @include cw.conf
</match>

这是我的 cw.conf:

@type cloudwatch_logs
log_group_name dev-logs
log_stream_name dev
auto_create_stream true

将 JSON 写入 stdout 创建的日志被正确推送到 CloudWatch，但 @ERROR 条目未推送到 CloudWatch。

但他们现在已正确记录到 stdout：

2019-08-22 19:25:53.000000000 +0000 docker.integration_service.integration_service_1.2db3cc97a71a: {"container_name":"/integration_service_1","source":"stderr","log":"Debugger listening on ws://0.0.0.0:9229/94a655a4-1bbb-49
3e-abcc-f2637c39583d","container_id":"2db3cc97a71aa27c957fa13e29ac4c1c9f8a616c8c2989dcf72ea8f9b666d513"}

现在如何将它们推送到 CloudWatch？

Answer 1

我认为这是可能的。默认情况下，所有不匹配的记录都会发送到 @ERROR 标签。

这样做是因为 emit_invalid_record_to_error 标志设置为 true。

无效案例为

密钥不存在
格式不匹配
意外错误

您可以在@ERROR 标签中挽救意外格式的日志。如果您想忽略这些错误，请设置 false.

这里有更多文档。 https://docs.fluentd.org/filter/parser#emit_invalid_record_to_error

在您的情况下，您想要捕获格式不匹配 的记录。示例方法如下。

<filter myTag>
  @type parser
  @log_level trace
  key_name log
  hash_value_field fields
</filter>

<label @ERROR>
  <match myTag>
    @type stdout
  </match>
</label>

Above match within label 将 JSON 中的数据以您需要的格式发送到 STDOUT。

{ message: "Debugger listening on ws://0.0.0.0:9229/459316ca-5ec5-43e4-ae5d-d4651eca2c9e" }

试试让我知道。

重要说明 - @ERROR 捕获大量内部流利错误和警告，因此为了仅捕获格式不匹配的错误，我特别提供了 filter myTag,match myTag 这确保我的过滤器和匹配只处理我的标签记录和错误。我看到您正在使用 filter ** 对所有记录执行过滤，所以我认为最佳做法是为 match、filter 等提供正确的 tag，

Answer 2

您可以使用可以解析不同格式的multi-format parser plugin。通过这种方式，您可以指定多个模式，例如 format json 和 format none，并且所有日志都转发到同一目的地，因此您无需担心通过 @ERROR.[= 处理某些日志14=]

从 stdout 读取 JSON 和纯文本

Read JSON and plain text from stdout

fluentd