kafka server:Offset的topic尚未创建
kafka server: Offset's topic has not yet been created
我正在使用 Kafka 服务器 0.9 + zookeper。我是卡夫卡的新手。它在 virtualbox 中是 运行,我可以使用 public IP 连接到它,所以它正在工作......或多或少:可以获取主题和消息。
所以现在我有 2 个问题:
我在 __consumer_offsets 找不到任何东西(空),这就是为什么我遇到 go simple consumer 脚本抛出错误的问题:kafka server: Offset's topic has not yet been created
;当我通过命令 ls /brokers/topics/__consumer_offsets
检查 zookeeper-shell.sh 控制台时,它会出错:Node does not exist: /brokers/topics/__consumer_offsets
(也许它们是连接的)我在自动创建主题时收到轻微警告:WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}
非常感谢任何帮助。谢谢!
__consumer_offsets
主题在使用组的消费者连接到集群时自动创建。
默认情况下,Sarama 不支持群组 (https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group), so unless you are using the cluster extension (https://github.com/bsm/sarama-cluster),这是预期的。
如果需要可以使用Kafka自带的kafka-console-consumer.sh
工具来创建。
在日志中成功找到原因:Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic
您需要 post 进入您的 server.properties
文件后的选项:offsets.topic.replication.factor=1
。在计数达到 3 之前,此选项不会让您执行任何操作,但由于您已将其设置为播放框 - 通常只有 1 个。
我正在使用 Kafka 服务器 0.9 + zookeper。我是卡夫卡的新手。它在 virtualbox 中是 运行,我可以使用 public IP 连接到它,所以它正在工作......或多或少:可以获取主题和消息。 所以现在我有 2 个问题:
我在 __consumer_offsets 找不到任何东西(空),这就是为什么我遇到 go simple consumer 脚本抛出错误的问题:
kafka server: Offset's topic has not yet been created
;当我通过命令ls /brokers/topics/__consumer_offsets
检查 zookeeper-shell.sh 控制台时,它会出错:Node does not exist: /brokers/topics/__consumer_offsets
(也许它们是连接的)我在自动创建主题时收到轻微警告:
WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}
非常感谢任何帮助。谢谢!
__consumer_offsets
主题在使用组的消费者连接到集群时自动创建。
默认情况下,Sarama 不支持群组 (https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group), so unless you are using the cluster extension (https://github.com/bsm/sarama-cluster),这是预期的。
如果需要可以使用Kafka自带的kafka-console-consumer.sh
工具来创建。
在日志中成功找到原因:Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic
您需要 post 进入您的 server.properties
文件后的选项:offsets.topic.replication.factor=1
。在计数达到 3 之前,此选项不会让您执行任何操作,但由于您已将其设置为播放框 - 通常只有 1 个。