Kafka MirrorMaker - 不复制主题的删除
Kafka MirrorMaker - Deletion of a topic is not replicated
我设置了 MirrorMaker2 来复制 2 个 Apache Kafka 集群。一切似乎都很顺利。
我唯一的问题是,从 CLUSTER1 中删除 topic 时(复制为 CLUSTER1.topic 在cluster2上,没有删除cluster2上的replicated topic CLUSTER1.topic。
所以似乎删除一个主题并没有复制到另一个集群。有一些特定的 属性 控制在 mm2.properties?
上删除主题的复制
谢谢
这是预期的行为。 MirrorMaker2 不会删除主题或组。
有几个原因:
- 这样可以防止在主题被误删除的情况下丢失数据。在这种情况下,远程集群上的副本仍然可用。
- 集群可以由不同的团队operated/used。不再需要某个主题的团队不一定在远程集群上也不再需要它。
- Kafka 不跟踪主题的“所有权”(谁创建了它)。名称与 MirrorMaker2 规则匹配的主题可能存在于远程集群上,而不是 MirrorMaker2 副本。
为避免这些问题,目前(如果社区同意,可以更改),MirrorMaker2 不会删除远程集群上的资源。
我设置了 MirrorMaker2 来复制 2 个 Apache Kafka 集群。一切似乎都很顺利。 我唯一的问题是,从 CLUSTER1 中删除 topic 时(复制为 CLUSTER1.topic 在cluster2上,没有删除cluster2上的replicated topic CLUSTER1.topic。 所以似乎删除一个主题并没有复制到另一个集群。有一些特定的 属性 控制在 mm2.properties?
上删除主题的复制谢谢
这是预期的行为。 MirrorMaker2 不会删除主题或组。
有几个原因:
- 这样可以防止在主题被误删除的情况下丢失数据。在这种情况下,远程集群上的副本仍然可用。
- 集群可以由不同的团队operated/used。不再需要某个主题的团队不一定在远程集群上也不再需要它。
- Kafka 不跟踪主题的“所有权”(谁创建了它)。名称与 MirrorMaker2 规则匹配的主题可能存在于远程集群上,而不是 MirrorMaker2 副本。
为避免这些问题,目前(如果社区同意,可以更改),MirrorMaker2 不会删除远程集群上的资源。