为什么 kafka connect 内部主题 connect-offsets 有 50 个分区而 connect-status 有 10 个?

Why kafka connect internal topic connect-offsets has 50 partitions and connect-status has 10?

根据阅读 kafka 连接文档:

https://docs.confluent.io/5.3.3/connect/userguide.html#distributed-mode

config.storage.topic=连接配置

bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-configs --replication-factor 3 --partitions 1 --config cleanup.policy=紧凑

offset.storage.topic=连接偏移量

bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-offsets --replication-factor 3 --partitions 50 --config cleanup.policy=紧凑

status.storage.topic=连接状态

bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-status --replication-factor 3 --partitions 10 --config cleanup.policy=紧凑

我明白为什么connect-configs只有一个分区,它必须是唯一的分区,好吧。 但我不明白,我无法获得有关为什么连接偏移量应该有 50 个分区和连接状态 10

的信息

这只是一个猜测,但分区会分散一个主题上的负载。

我不知道每个主题的确切功能是什么,但如果我不得不猜测,我会说 configs 可能不会持续访问,因为它看起来像存储配置。 status 很可能会定期更新,但不像 offsets 那样频繁。并且 offsets 一直由源连接器更新。

因此,文档可能会根据预期负载创建具有这些分区数的主题,并在创建主题时将它们明确设置为不依赖默认分区数。

例如在here中它说

offset.storage.partitions

The number of partitions used when Connect creates the topic used to store connector offsets. A large value (e.g., 25 or 50, just like Kafka’s built-in __consumer_offsets topic) is necessary to support large Kafka Connect clusters.

status.storage.partitions

The number of partitions used when Connect creates the topic used to store connector and task status updates.

Default: 5

默认为小数