使用 Kafka & Zookeeper，不同的组 ID 不会从头检索 Kafka 消息

Question

我们已经安装并运行了 kafka v2.10 和 zookeeper v3.4。我们已经编写了高级消费者来消费来自 Kafka 的日志消息。消费者 A 开始消费主题 T 和组 ID G1 的消息（遵循 Apache Kafka 文档中提供的高级消费者示例）。然后，当消费者 B 以相同的主题 T 但组 ID G2 启动时，它连接到 kafka/zookeeper，但从消费者 A 使用的最后一个消息之后的偏移量开始消费日志消息。

我的理解是，它应该从 Kafka 中该主题可用的最低偏移量开始提供日志消息。知道为什么它不这样做吗？

我们还没有复制 kafka 或 zookeeper。我们在这一点上的设置简单直接，我们正在努力让他们使用基本功能。

感谢任何帮助。

此外，您知道我们在哪里可以找到据称 Zookeeper 在每次具有新组 ID 的消费者与 Zookeeper 建立连接时创建的新目录（用于跟踪该组 ID 的偏移量）吗？

Answer 1

您可以尝试在创建消费者组时将此添加到配置中吗

    props.put("auto.offset.reset", "smallest");

使用 Kafka & Zookeeper，不同的组 ID 不会从头检索 Kafka 消息

Using Kafka & Zookeeper, Different group id does not retrieve Kafka msgs from the beginning

apache-kafka

apache-zookeeper