什么可能导致 Kafka `__consumer_offsets` 主题中的巨大负载？

Question

我在我的Kafka集群（Kafka 0.11.0.0）中有简单的观察。

根据 jmx 信息，__consumer_offsets 主题经常加载的消息是所有其他主题中所有消息总和的 10 倍。我还将控制台消费者连接到这个主题，我可以测量类似的值。

可能是什么原因？
我如何检查 Kafka 代理在做什么并自行生成这样的负载？

Answer 1

阅读__consumer_offsets主题：

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

对于 kafka 11 使用格式化程序 "kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter"

其中 consumer.conf 有一行

exclude.internal.topics=false

Answer 2

对于kafka 2.2版本，这是一个demo：

kafka_2.12-2.2.1/bin#

./kafka-console-consumer.sh --bootstrap-server  your-broker   --topic __consumer_offsets --formatter  "kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter"

输出将是：

[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)

什么可能导致 Kafka `__consumer_offsets` 主题中的巨大负载？

What may cause huge load in Kafka `__consumer_offsets` topic?

performance

apache-kafka

load

internal

consumer