Kafka消费者-如何添加主题

Question

在一个场景中，我有 N 个消费者（所有消费者都有 1 个 stream/no 分区），每个消费者订阅单独的主题集，如何处理生产者添加的新主题？

我应该为每个添加的主题创建新的消费者吗？ 或者我可以将这个主题添加到已经在工作的消费者中吗？ （怎么做？）

或者最好保持 1 个消费者组和 N 个消费者，而不是在 N 个消费者（流）之间划分主题？

Answer 1

如上所述，初始配置在同一消费者组的消费者之间划分主题根本不好。 消费者将无法相互故障=转移，因为他们有不同的主题列表。 Kafka 会发出不必要的再平衡。

您不需要为每个添加的主题添加使用者 - 您最好从头开始使用所有这些主题，将它们添加到公共路径，如 /MYTOPICS/*

您最好按分区划分主题，并根据需要添加新分区。 这将是透明的，无需任何努力。