kafka server:Offset的topic尚未创建

kafka server: Offset's topic has not yet been created

我正在使用 Kafka 服务器 0.9 + zookeper。我是卡夫卡的新手。它在 virtualbox 中是 运行,我可以使用 public IP 连接到它,所以它正在工作......或多或少:可以获取主题和消息。 所以现在我有 2 个问题:

  1. 我在 __consumer_offsets 找不到任何东西(空),这就是为什么我遇到 go simple consumer 脚本抛出错误的问题:kafka server: Offset's topic has not yet been created;当我通过命令 ls /brokers/topics/__consumer_offsets 检查 zookeeper-shell.sh 控制台时,它会出错:Node does not exist: /brokers/topics/__consumer_offsets

  2. (也许它们是连接的)我在自动创建主题时收到轻微警告:WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}

非常感谢任何帮助。谢谢!

__consumer_offsets 主题在使用组的消费者连接到集群时自动创建。

默认情况下,Sarama 不支持群组 (https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group), so unless you are using the cluster extension (https://github.com/bsm/sarama-cluster),这是预期的。

如果需要可以使用Kafka自带的kafka-console-consumer.sh工具来创建。

在日志中成功找到原因:Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic 您需要 post 进入您的 server.properties 文件后的选项:offsets.topic.replication.factor=1。在计数达到 3 之前,此选项不会让您执行任何操作,但由于您已将其设置为播放框 - 通常只有 1 个。