最新的 Kafka 版本中消费者组列表存储在哪里？

Question

显然，在早期的kafka版本中，某个消费者组的消费者列表存储在zookeeper中。最新的 kafka 版本的信息存储在哪里？

Answer 1

消费者组在 Zookeeper 中仍然可用。自 0.9 "high level" consumer

以来，它们的偏移量存储在 Kafka 中

Answer 2

从 Kafka 0.10 开始，消费者组列表存储在 __consumer_offsets 主题中。

该主题包含已提交的偏移量和组元数据（group.id、成员、生成、领导者等）。组使用 GroupMetadataMessage 消息存储（偏移量使用 OffsetsMessage）。

您可以使用 GroupMetadataMessageFormatter 转储组元数据。例如：

./bin/kafka-console-consumer.sh \
  --formatter "kafka.coordinator.group.GroupMetadataManager$GroupMetadataMessageFormatter" \
  --bootstrap-server localhost:9092 \
  --topic __consumer_offsets

请注意，这是一个紧凑的主题，因此要获取群组列表，您需要 "materialize" 所有条目。当您使用 listConsumerGroups() API

时，这就是经纪人所做的

最新的 Kafka 版本中消费者组列表存储在哪里？

Where are consumer groups list stored in recent Kafka version?

apache-kafka

kafka-consumer-api

apache-zookeeper