如何通过 shopify sarama 抵消来处理消费者恢复
how to handle consumer recovery by offset with shopify sarama
我读到 kafka 提供了一个消费者客户端库,它允许通过保存在 zookeeper 中读取的最后一个偏移量来恢复(不能 100% 确定它的存储位置)。
是否可以对 Sarama 消费者做同样的事情?
假设我正在读取直到偏移量 550,我的消费者崩溃了 5 分钟,我们现在处于偏移量 700,但我想从偏移量 550 恢复消费。
不用自己保存状态可以吗?
我会假设它确实如此,但我不明白如何。
我找到了sarama.OffsetNewest/Oldest
但这不是我要找的...
Kafka 消费者过去将偏移量存储在 Zookeeper 中,但现在他们将它们直接存储在 Kafka 中。请参阅 Kafka 文档中的 Consumer section。
Sarama 处理得很好,Sarama 消费者将默认在 Kafka 中提交(存储)偏移量。
看看萨拉玛 Consumer example。此示例最初从主题末尾开始,但重新启动后,它将从最后一个位置重新开始。
我读到 kafka 提供了一个消费者客户端库,它允许通过保存在 zookeeper 中读取的最后一个偏移量来恢复(不能 100% 确定它的存储位置)。
是否可以对 Sarama 消费者做同样的事情?
假设我正在读取直到偏移量 550,我的消费者崩溃了 5 分钟,我们现在处于偏移量 700,但我想从偏移量 550 恢复消费。
不用自己保存状态可以吗? 我会假设它确实如此,但我不明白如何。
我找到了sarama.OffsetNewest/Oldest
但这不是我要找的...
Kafka 消费者过去将偏移量存储在 Zookeeper 中,但现在他们将它们直接存储在 Kafka 中。请参阅 Kafka 文档中的 Consumer section。
Sarama 处理得很好,Sarama 消费者将默认在 Kafka 中提交(存储)偏移量。
看看萨拉玛 Consumer example。此示例最初从主题末尾开始,但重新启动后,它将从最后一个位置重新开始。