Kafka 重新平衡最小化

Question

在我有的简单场景中： 1个卡夫卡经纪人 N个话题 没有主题分区

例如，我想要在消费者之间分隔主题。

我加载 K 个消费者（流），每个流处理 N/K 个主题。

1. 我可以使用相同的消费者组
2. 我可以将每个消费者加载到自己的组中

您能否确认，如果添加新消费者，二维情况下的再平衡不会发生？这很好，因为我想避免再平衡。

这两种方法的隐藏缺点是什么？

Answer 1

将消费者添加到不同的组时不应发生重新平衡。

当使用同一个消费者组时，如果一个消费者死亡，其他消费者将接受他的 topics/partitions 并从它死亡的偏移量开始继续处理。如果您使用不同的消费者组，您必须自己从正确的地方重新启动消费者。