是否可以让 Kafka Consumer Group 中的所有客户端读取相同的数据?

Is it possible to make all the clients in Kafka Consumer Group reading same data?

我需要阅读来自包含 3 个分区的 kafka 主题的最新消息。 我需要从 5 个不同的客户端读取相同的数据,首先我尝试使用 Simple Consumer 但它不适用于多个分区。 目的是让分区处理组消费者,并向所有客户端发送相同的消息。

您应该为不同的客户端使用不同的消费者组名称。

考虑一下:您有一个包含 3 个分区的主题。客户端 1 在组 1 中有一个 运行 消费者(或多个消费者),并从所有分区获取消息。客户端 2 在组 2 中有一个消费者,依此类推..

这样,您可能在组 1 中有 2 个消费者为客户端 1 使用消息,在组 2 中有 3 个消费者为客户端 2 或您可能想象的任何其他配置使用消息。

您可以为每个客户端使用不同的消费者组名称。

每个 Kafka 消费者都是消费者组的一部分。它的工作方式是所有消息都被每个消费者组消费。但它只会被该组中的一个消费者消费。您可以阅读 this 了解更多详情