分布式 Kafka Connect 主题配置
Distributed Kafka Connect topic configuration
我遇到的问题是我的 Kafka Connect worker 配置在节点重启后丢失了。 (http://broker:port/connectors/ -> 空数组)
现在我认为它可能与 "retention.ms" 配置有关。因为connect config也保存在"config.storage.topic"里面，"retention.ms"之后会被删除吗？所以我必须设置一个很高的"retention.ms"。这是正确的还是由 Kafka 自动管理？ （如果您自己创建主题）
另外两个话题呢：
status.storage.topic - 只有当前状态信息，没那么重要？
offset.storage.topic
是的，这可能是。
"config.storage.topic"、"status.storage.topic"、"offset.storage.topic"都应该配置成'cleanup.policy=compact'（默认为'delete'）。使用此策略，保留时间将无效 - 我们将始终为每个连接器保留最新配置。
我遇到的问题是我的 Kafka Connect worker 配置在节点重启后丢失了。 (http://broker:port/connectors/ -> 空数组)
现在我认为它可能与 "retention.ms" 配置有关。因为connect config也保存在"config.storage.topic"里面，"retention.ms"之后会被删除吗？所以我必须设置一个很高的"retention.ms"。这是正确的还是由 Kafka 自动管理？ （如果您自己创建主题）
另外两个话题呢： status.storage.topic - 只有当前状态信息，没那么重要？ offset.storage.topic
是的，这可能是。
"config.storage.topic"、"status.storage.topic"、"offset.storage.topic"都应该配置成'cleanup.policy=compact'（默认为'delete'）。使用此策略，保留时间将无效 - 我们将始终为每个连接器保留最新配置。