为什么 kafka connect 内部主题 connect-offsets 有 50 个分区而 connect-status 有 10 个?
Why kafka connect internal topic connect-offsets has 50 partitions and connect-status has 10?
根据阅读 kafka 连接文档:
https://docs.confluent.io/5.3.3/connect/userguide.html#distributed-mode
config.storage.topic=连接配置
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-configs --replication-factor 3 --partitions 1 --config cleanup.policy=紧凑
offset.storage.topic=连接偏移量
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-offsets --replication-factor 3 --partitions 50 --config cleanup.policy=紧凑
status.storage.topic=连接状态
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-status --replication-factor 3 --partitions 10 --config cleanup.policy=紧凑
我明白为什么connect-configs只有一个分区,它必须是唯一的分区,好吧。
但我不明白,我无法获得有关为什么连接偏移量应该有 50 个分区和连接状态 10
的信息
这只是一个猜测,但分区会分散一个主题上的负载。
我不知道每个主题的确切功能是什么,但如果我不得不猜测,我会说 configs
可能不会持续访问,因为它看起来像存储配置。 status
很可能会定期更新,但不像 offsets
那样频繁。并且 offsets
一直由源连接器更新。
因此,文档可能会根据预期负载创建具有这些分区数的主题,并在创建主题时将它们明确设置为不依赖默认分区数。
例如在here中它说
offset.storage.partitions
The number of partitions used when Connect creates the topic used to store connector offsets. A large value (e.g., 25 or 50, just like Kafka’s built-in __consumer_offsets topic) is necessary to support large Kafka Connect clusters.
和
status.storage.partitions
The number of partitions used when Connect creates the topic used to store connector and task status updates.
Default: 5
默认为小数
根据阅读 kafka 连接文档:
https://docs.confluent.io/5.3.3/connect/userguide.html#distributed-mode
config.storage.topic=连接配置
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-configs --replication-factor 3 --partitions 1 --config cleanup.policy=紧凑
offset.storage.topic=连接偏移量
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-offsets --replication-factor 3 --partitions 50 --config cleanup.policy=紧凑
status.storage.topic=连接状态
bin/kafka-topics --create --zookeeper localhost:2181 --topic connect-status --replication-factor 3 --partitions 10 --config cleanup.policy=紧凑
我明白为什么connect-configs只有一个分区,它必须是唯一的分区,好吧。 但我不明白,我无法获得有关为什么连接偏移量应该有 50 个分区和连接状态 10
的信息这只是一个猜测,但分区会分散一个主题上的负载。
我不知道每个主题的确切功能是什么,但如果我不得不猜测,我会说 configs
可能不会持续访问,因为它看起来像存储配置。 status
很可能会定期更新,但不像 offsets
那样频繁。并且 offsets
一直由源连接器更新。
因此,文档可能会根据预期负载创建具有这些分区数的主题,并在创建主题时将它们明确设置为不依赖默认分区数。
例如在here中它说
offset.storage.partitions
The number of partitions used when Connect creates the topic used to store connector offsets. A large value (e.g., 25 or 50, just like Kafka’s built-in __consumer_offsets topic) is necessary to support large Kafka Connect clusters.
和
status.storage.partitions
The number of partitions used when Connect creates the topic used to store connector and task status updates.
Default: 5
默认为小数