未从 zookeeper 中发现活跃的消费者
Active consumer not discovered from zookeeper
我是 apache kafka 的新手,我在我自己部署的 kubernetes 集群上设置了一个带有 zookeeper 的 kafka-broker。 (2 个单独的 pods)
没有明显的错误日志,一切正常,包括:
- 创建主题
- 通过 bin/kafka-console-producer.sh
生成消息
- 通过bin/kafka-console-consumer.sh
订阅(消费)消息
- 在 zookeeper CLI 中列出主题 ( ls /brokers/ids )
除了:
- 在 kafka offset monitoring tool
中列出活跃消费者
当我尝试在 zookeeper CLI 中列出活跃消费者或在监控工具中查看活跃消费者时,我得到的结果也是空的。(虽然我有一个消费者会话 运行 如上所述)
zookeeper 和 kafka broker 之间的集成似乎工作正常,因为当我尝试时:
[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
[topic1, topic2]
[zk: localhost:2181(CONNECTED) 2] ls /consumers
[]
我是不是漏掉了什么??
消费者数据不再存储在 Zookeeper 中(自 0.9 起)。消费者组数据现在直接存储在 Kafka 中。
要检查消费者组的状态,您应该使用 kafka-consumer-groups.sh
工具。例如:
./bin/kafka-consumer-groups.sh --bootstrap-server [HOST:PORT] --group [GROUP]
请注意,只有属于提交偏移量的组的消费者才可见。默认情况下 kafka-console-consumer.sh
没有。您需要指定 --group [GROUP]
才能启用它。
我是 apache kafka 的新手,我在我自己部署的 kubernetes 集群上设置了一个带有 zookeeper 的 kafka-broker。 (2 个单独的 pods)
没有明显的错误日志,一切正常,包括:
- 创建主题
- 通过 bin/kafka-console-producer.sh 生成消息
- 通过bin/kafka-console-consumer.sh 订阅(消费)消息
- 在 zookeeper CLI 中列出主题 ( ls /brokers/ids )
除了:
- 在 kafka offset monitoring tool 中列出活跃消费者
当我尝试在 zookeeper CLI 中列出活跃消费者或在监控工具中查看活跃消费者时,我得到的结果也是空的。(虽然我有一个消费者会话 运行 如上所述)
zookeeper 和 kafka broker 之间的集成似乎工作正常,因为当我尝试时:
[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
[topic1, topic2]
[zk: localhost:2181(CONNECTED) 2] ls /consumers
[]
我是不是漏掉了什么??
消费者数据不再存储在 Zookeeper 中(自 0.9 起)。消费者组数据现在直接存储在 Kafka 中。
要检查消费者组的状态,您应该使用 kafka-consumer-groups.sh
工具。例如:
./bin/kafka-consumer-groups.sh --bootstrap-server [HOST:PORT] --group [GROUP]
请注意,只有属于提交偏移量的组的消费者才可见。默认情况下 kafka-console-consumer.sh
没有。您需要指定 --group [GROUP]
才能启用它。