kafka + 开始偏移量怎么可能比上一个最后一个偏移量高得多
kafka + how it can be that begin offset is much higher then previous last offset
我们正在使用具有 3 个 kafka 节点的 kafka 集群，kafka 版本 0.10
从 kafka 日志中我们得到一条非常奇怪的消息如下
Beginning offset 1432 is after the ending offset 1298 for topic data.out.cars
注意 - 我们有 110 个分区用于此主题
为什么开始偏移量是 1432 而结束偏移量要小得多 1298
kafka 配置可能有什么问题？
我们可以通过调整一些kafka参数来避免这个问题吗？
我怀疑由于保留数据而导致的内容已被清除，偏移量已跳到新的开始。您可以通过检查主题从开始位置的偏移量来验证。如果消息被截断，它将从一个新位置开始，该位置将显示主题分区详细信息。
bin/kafka-console-consumer.sh --zookeeper <zk_host>:2181 --topic test --from-beginning
如果您使用的是新的 API 然后使用下面的
bin/kafka-console-consumer.sh --bootstrap-server <broker_host>:6667 --topic test --from-beginnin
我们正在使用具有 3 个 kafka 节点的 kafka 集群，kafka 版本 0.10
从 kafka 日志中我们得到一条非常奇怪的消息如下
Beginning offset 1432 is after the ending offset 1298 for topic data.out.cars
注意 - 我们有 110 个分区用于此主题
为什么开始偏移量是 1432 而结束偏移量要小得多 1298
kafka 配置可能有什么问题？
我们可以通过调整一些kafka参数来避免这个问题吗？
我怀疑由于保留数据而导致的内容已被清除，偏移量已跳到新的开始。您可以通过检查主题从开始位置的偏移量来验证。如果消息被截断，它将从一个新位置开始，该位置将显示主题分区详细信息。
bin/kafka-console-consumer.sh --zookeeper <zk_host>:2181 --topic test --from-beginning
如果您使用的是新的 API 然后使用下面的
bin/kafka-console-consumer.sh --bootstrap-server <broker_host>:6667 --topic test --from-beginnin