如果 kafka connect 的 debezium 源连接器无法生成到 kafka 怎么办

Question

我使用 debezium 源连接器连接 mongoDB 与 SMT 和 AvroConverter。

当由于兼容性而面临序列化错误时，连接器是跳过错误记录，还是重试发送错误记录？

我设置error.tolerance = 'all'（应该是errors.tolerance = 'all'）。我认为连接器不会将偏移量提交回 kafka，因此连接器会不断重试发送记录，对吗？

Answer 1

如果我没理解错的话，你可以配置重试行为，例如：

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

如果达到失败的重试限制，则容忍限制用于确定是否应跳过此记录 (errors.tolerance=all)，或者是否要终止任务 (errors.tolerance=none).

KIP-298: Error Handling in Connect 中有更多详细信息。