未从 zookeeper 中发现活跃的消费者

Active consumer not discovered from zookeeper

我是 apache kafka 的新手,我在我自己部署的 kubernetes 集群上设置了一个带有 zookeeper 的 kafka-broker。 (2 个单独的 pods)

没有明显的错误日志,一切正常,包括:

除了:

当我尝试在 zookeeper CLI 中列出活跃消费者或在监控工具中查看活跃消费者时,我得到的结果也是空的。(虽然我有一个消费者会话 运行 如上所述)

zookeeper 和 kafka broker 之间的集成似乎工作正常,因为当我尝试时:

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
[topic1, topic2] 
[zk: localhost:2181(CONNECTED) 2] ls /consumers
[] 

我是不是漏掉了什么??

消费者数据不再存储在 Zookeeper 中(自 0.9 起)。消费者组数据现在直接存储在 Kafka 中。

要检查消费者组的状态,您应该使用 kafka-consumer-groups.sh 工具。例如:

./bin/kafka-consumer-groups.sh --bootstrap-server [HOST:PORT] --group [GROUP]

请注意,只有属于提交偏移量的组的消费者才可见。默认情况下 kafka-console-consumer.sh 没有。您需要指定 --group [GROUP] 才能启用它。