Kafka 消费者重读消息
Kafka Consumer Re-reading Messages
我发现我的主题中的所有消息都被我的消费者重新阅读了。我只有 1 个消费者,当我 developing/testing 时,我将其转为 on/off。我注意到,有时几天后 运行 消费者不再使用,当我再次打开它时,它会突然重新读取我的所有消息。
clientid 和groupid 始终保持不变。我明确调用 commitSync,因为我的 enable.auto.commit=false。我确实设置了 auto.offset.reset=earliest,但据我了解,只有在服务器上删除偏移量时才应该启动。我正在使用 IBM Bluemix 的 MessageHub 服务,所以它可能会自动删除偏移量?
有人有 clues/ideas 吗?
谢谢。
是的,如果您 24 小时未提交,偏移量将自动删除。
这是 Kafka 的默认设置,我们没有更改它。
我发现我的主题中的所有消息都被我的消费者重新阅读了。我只有 1 个消费者,当我 developing/testing 时,我将其转为 on/off。我注意到,有时几天后 运行 消费者不再使用,当我再次打开它时,它会突然重新读取我的所有消息。
clientid 和groupid 始终保持不变。我明确调用 commitSync,因为我的 enable.auto.commit=false。我确实设置了 auto.offset.reset=earliest,但据我了解,只有在服务器上删除偏移量时才应该启动。我正在使用 IBM Bluemix 的 MessageHub 服务,所以它可能会自动删除偏移量?
有人有 clues/ideas 吗?
谢谢。
是的,如果您 24 小时未提交,偏移量将自动删除。 这是 Kafka 的默认设置,我们没有更改它。