将 Kafka 分区映射到 Kafka 消费者/消费者组
Mapping of Kafka partition to Kafka Consumer / Consumer groups
我正在阅读 Kafka FAQ,他们在其中指定如下。
•每个分区不被每个消费者组中超过一个消费者thread/process消费。这允许让每个进程以单线程方式消费,以保证分区内对消费者的排序(如果我们拆分有序消息的分区并将它们分发给多个消费者,即使消息是按顺序存储的,它们将被处理有时会出现故障)。
有没有可能 One Partition can be consumed by Multiple Consumers
在 different consumer groups
中?
如果是,它是如何管理读取的重复邮件的?
更新:
其实我想问一下,我有一个分区有10条消息,如果我有2个不同的消费者组[group1, group2],是否有可能消费者组1读取前5条消息,消费者组2读取另外5条消息?
这是不可能的(至少没有设计成)。拥有不同的消费者群体的目的正是为了能够为不同的目的处理相同的消息。
我正在阅读 Kafka FAQ,他们在其中指定如下。
•每个分区不被每个消费者组中超过一个消费者thread/process消费。这允许让每个进程以单线程方式消费,以保证分区内对消费者的排序(如果我们拆分有序消息的分区并将它们分发给多个消费者,即使消息是按顺序存储的,它们将被处理有时会出现故障)。
有没有可能 One Partition can be consumed by Multiple Consumers
在 different consumer groups
中?
如果是,它是如何管理读取的重复邮件的?
更新:
其实我想问一下,我有一个分区有10条消息,如果我有2个不同的消费者组[group1, group2],是否有可能消费者组1读取前5条消息,消费者组2读取另外5条消息?
这是不可能的(至少没有设计成)。拥有不同的消费者群体的目的正是为了能够为不同的目的处理相同的消息。