如果为主题创建新分区,Kafka 会发生什么情况?

What happens in Kafka if you create a new partition for a topic?

我在网上阅读了一些指南,如果您使用键排序,新分区最终会破坏该排序,我真的看不出如何。 真的是这样吗?

是的,这就是通常发生的事情。更准确地说,不能保证旧顺序保持不变

消息的分区基本上是通过

进行的
hash(key) % number_of_partitions

让我们假设您有一个包含两个分区的主题。您的数据(键:值)如下所示

a:1
b:1
c:1
a:2
b:2
c:2

现在,这些消息将进入两个分区:

partition0: a:1, b:1, a:2, b:2
partition1: c:1, c:2

如果您现在添加一个分区并在主题中生成新消息 a:3, b:3, c:3,您可能会像这样结束:

partition0: a:1, b:1, a:2, b:2, a:3
partition1: c:1, c:2, c:3
partition2: b:3

现在,使用来自该主题的消息,您可以在处理 b:2 之前结束处理 b:3,因为一个消费者阅读 partition0 可能比另一个消费者花费更长的时间ConsumerGroup 阅读 partition2.