Kafka Connect 分离日志记录
Kafka Connect separated logging
目前我们正在为我们的 confluent kafka connect 分布式工作集群使用几个自定义连接器插件。困扰我很长时间的一件事是,kafka connect 将所有部署的连接器的所有日志写入一个 File/Stream。这使调试成为绝对的噩梦。有没有办法让 kafka connect 在不同的 Files/Streams?
中记录连接器
通过 connect-log4j.properties
我可以让特定的 class 登录到不同的 File/Stream。但这意味着对于每个额外的连接器,我都必须调整 connect-log4j.properties
谢谢
Kafka Connect 目前不支持此功能。我同意这并不理想。
一个选择是拆分您的连接器并为每个连接器配备一个专用的工作集群,从而分离日志文件。
Kafka Connect 是 Apache Kafka 的一部分,因此您可以 raise a JIRA 进一步讨论这个问题,并可能通过 PR 回馈它?
2019 年 4 月 12 日编辑: 参见 https://cwiki.apache.org/confluence/display/KAFKA/KIP-449%3A+Add+connector+contexts+to+Connect+worker+logs
目前我们正在为我们的 confluent kafka connect 分布式工作集群使用几个自定义连接器插件。困扰我很长时间的一件事是,kafka connect 将所有部署的连接器的所有日志写入一个 File/Stream。这使调试成为绝对的噩梦。有没有办法让 kafka connect 在不同的 Files/Streams?
中记录连接器通过 connect-log4j.properties
我可以让特定的 class 登录到不同的 File/Stream。但这意味着对于每个额外的连接器,我都必须调整 connect-log4j.properties
谢谢
Kafka Connect 目前不支持此功能。我同意这并不理想。
一个选择是拆分您的连接器并为每个连接器配备一个专用的工作集群,从而分离日志文件。
Kafka Connect 是 Apache Kafka 的一部分,因此您可以 raise a JIRA 进一步讨论这个问题,并可能通过 PR 回馈它?
2019 年 4 月 12 日编辑: 参见 https://cwiki.apache.org/confluence/display/KAFKA/KIP-449%3A+Add+connector+contexts+to+Connect+worker+logs