Kafka Connect - 无法提交偏移量和刷新

Question

我暂停了我的 Kafka 连接器，重新启动它们后我的日志中出现了这些错误

[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)

我多次遇到此错误，因为未完成消息的数量已更改。然后就停了，再也没有见过。

我是否需要在此处采取任何操作，或者让 Connect 重试并提交偏移量，这就是错误停止的原因？

谢谢

Answer 1

该错误表示有大量消息被缓冲，并且在达到超时之前无法刷新。要解决此问题，您可以

在 Kafka Connect Worker Configs 中增加 offset.flush.timeout.ms 配置参数
或者您可以通过减少 Kafka Connect Worker 配置中的 producer.buffer.memory 来减少缓冲的数据量。当您有相当大的消息时，这将是最佳选择。

Kafka Connect - 无法提交偏移量和刷新

Kafka Connect - Failed to commit offsets and flush

apache-kafka

apache-kafka-connect

debezium