java 流利

Question

我正在尝试将日志从基本 java maven 项目发送到远程机器上配置的 fluent-bit。 Fluent-bit 然后会将它们写入文件。这是我的基本 java 配置。

Java

private final static Logger logger = LoggerFactory.getLogger(App.class);

public static void main(String[] args) {
   for (int i = 0; ; i++) {
      logger.debug("Warn msg");
      try {
         Thread.sleep(5000);
       } catch (InterruptedException e) {
        // do nothing now
      }
   }
}

而 logback.xml

<appender name="fluentd" class="ch.qos.logback.more.appenders.DataFluentAppender">
   <remoteHost>xx.xxx.xxx.xxx</remoteHost>
   <port>7777</port>
   <encoder>
            <pattern>%message%n</pattern>
    </encoder>
</appender>

<root level="DEBUG">
    <appender-ref ref="fluentd" />
</root>

流畅位配置：

td-agent-bit.conf

[INPUT]
    Name          tcp
    Listen        xx.xxx.xxx.xxx
    Port          7777
    Parsers_File  /etc/td-agent-bit/parsers.conf
    Parser        custom_parser

[OUTPUT]
    Name          file
    Match         *
    Path          /home/td-agent-bit/output.txt

parsers.conf

[PARSER]
    Name    custom_parser
    Format  regex
    Regex   .*

我在应用程序运行时不断收到以下异常

[2018/09/27 08:29:13] [trace] [in_tcp] read()=74 pre_len=370 now_len=444

[2018/09/27 08:29:13] [debug] [in_serial] invalid JSON message, skipping

但是当我尝试通过命令行测试配置时它起作用了

echo '{"key 1": 10, "key 2": "YYY"}' | nc xx.xxx.xxx.xxx 7777

我没有遇到任何异常，输出文件拥有所有权限。远程机器也是一个基于 photon-os 的系统。

如有任何想法，我们将不胜感激。

Answer 1

所以经过一些研究和我打开的票证 here，我发现我使用了错误的插件。

所有 java 配置都是正确的。只需要对 td-agent-bit.conf

进行以下更改

[INPUT]
    Name          forward
    Listen        xx.xxx.xxx.xxx
    Port          7777

我们需要使用 forward 插件而不是 tcp 插件。此插件会侦听 7777 端口上的任何传入消息并将其重定向到文件。

请注意，TCP 输入插件仅接受 JSON 映射作为记录，而不像转发协议那样接受 msgpack。

java 流利

Fluent-bit with java

java

logging

logback

photon-os

fluent-bit