从 Confluent Source 和 Sink 连接器打印数据

Question

我使用 confluent 安装了 source 和 sink 连接器，它们工作正常。但是当我看到 docker 日志使用

docker logs -f container-name

输出是这样的

[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,573] INFO WorkerSourceTask{id=mariadb-source-0} Finished commitOffsets successfully in 2 ms (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,194] INFO WorkerSinkTask{id=oracle-sink-0} Committing offsets asynchronously using sequence number 1077: {faheemuserdbtest-0=OffsetAndMetadata{offset=7, metadata=''}} (org.apache.kafka.connect.runtime.WorkerSinkTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTas

但它不是通过主题的实际数据，有没有办法可以在日志中打印该数据？因为我正在将这些日志移动到 kibana 仪表板。是的，我可以从 Kafka 主题中读取数据，但这不是我的场景。

Answer 1

不，您在日志中看不到该数据。

连接器不打印实际复制的数据。如果您有这样的要求，您可能必须更改源和接收器连接器源代码中的日志记录机制，并根据您的要求对其进行自定义。

Answer 2

根据连接器的不同，如果您在连接器 Log4j 属性中启用了 TRACE 日志记录，则可以看到消息。

如果使用 Confluent 的 docker 图像，有一些 CONNECT_LOG4J_LOGGERS 环境变量用于控制

如果您想要 Elasticsearch 中的实际 JDBC 数据，您通常会安装 Elasticsearch 接收器，而不是从这些日志中解析它

从 Confluent Source 和 Sink 连接器打印数据

Print Data from Confluent Source and Sink connectors

apache-kafka

docker

confluent-platform