Kafka MirrorMaker2 自动消费者偏移同步

Question

我正在使用 MirrorMaker2 进行 DR。

Kafka 2.7应该支持 automated consumer offset sync

这是我正在使用的 yaml 文件（我使用 strimzi 创建它）

所有源集群主题都已复制到目标集群中。此外 ...checkpoint.internal 主题在目标集群中创建，其中包含同步的所有源集群偏移量，但我没有看到这些偏移量被转换为目标集群 _consumer_offsets 主题，这意味着当我将在目标集群中启动消费者（同一消费者组）时，它将从头开始读取消息。

我的期望是，在允许自动消费者偏移量同步后，来自源集群的所有消费者偏移量已翻译并存储在目标集群的 _consumer_offsets 主题中。

有人可以澄清我的期望是否正确，如果不正确，它应该如何运作。

Answer 1

sync.group.offsets.enabled 设置适用于 MirrorCheckpointConnector。

我不完全确定 Strimzi 如何运行 MirrorMaker 2，但我认为您需要将其设置为：

checkpointConnector:
  config:
    checkpoints.topic.replication.factor: 1
    sync.group.offsets.enabled: "true"

Kafka MirrorMaker2 自动消费者偏移同步

Kafka MirrorMaker2 automated consumer offset sync

apache-kafka

apache-kafka-mirrormaker