Kafka Mirror Maker 无法复制 __consumer_offset 主题

Question

我正在尝试使用 mirror maker 来复制 __consumer_offsets 主题和其他主题。

出现如下错误。

[2018-10-24 16:16:03,802] ERROR Error when sending message to topic __consumer_offsets with key: 16 bytes, value: 445 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: The request attempted to perform an operation on an invalid topic. [2018-10-24 16:16:03,828] ERROR Error when sending message to topic __consumer_offsets with key: 29 bytes, value: 754 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: The request attempted to perform an operation on an invalid topic.

有什么办法可以解决吗？

在 slide21 的 SlideShare 中的一个汇合演示文稿中，它提到了在多个数据中心中复制偏移量主题。有人可以告诉我实现相同目标的可能方法吗？

或者有其他更好的Kafka备份和恢复策略的方法。

Answer 1

将此添加到您的 consumer.config:

exclude.internal.topics=false

并将此添加到您的 producer.config:

client.id=__admin_client

原因是，除非您声明 AdminClient.scala 使用的 client.id=__admin_client，否则生产者无法写入内部主题。在这里找到：https://issues.apache.org/jira/browse/KAFKA-6524

Kafka Mirror Maker 无法复制 __consumer_offset 主题

Kafka Mirror Maker failing to replicate __consumer_offset topic

mirroring

consumer

apache-kafka

confluent-platform