选择主题中的分区数?
Choose number of partitions in a topic?
如何为主题选择分区数?
如果记录要根据键进行分区并且键的数量多于分区的数量,会发生什么情况?
是否只有一种方法可以将具有相同键的记录转到一个分区?开发者不能自定义吗?
您可以在创建主题时指定分区数。稍后你可以增加分区数
如果你在kafka中使用默认分区器class,所有具有相同键的记录将进入一个分区。
return Utils.abs(Utils.murmur2(record.key())) % numPartitions;
您可以指定自己的分区程序 class 并在其中实现您想要的任何逻辑。为此,您需要使用自己的实现覆盖生产者 属性 partitioner.class
。
如何为主题选择分区数?
如果记录要根据键进行分区并且键的数量多于分区的数量,会发生什么情况?
是否只有一种方法可以将具有相同键的记录转到一个分区?开发者不能自定义吗?
您可以在创建主题时指定分区数。稍后你可以增加分区数
如果你在kafka中使用默认分区器class,所有具有相同键的记录将进入一个分区。
return Utils.abs(Utils.murmur2(record.key())) % numPartitions;
您可以指定自己的分区程序 class 并在其中实现您想要的任何逻辑。为此,您需要使用自己的实现覆盖生产者 属性
partitioner.class
。