Kafka Spout 在设置多个工作人员时无法在风暴中确认消息
Kafka Spout fails to acknowledge message in storm while setting multiple workers
我有一个从 Kafaka 队列订阅事件的风暴拓扑。当工作人员数量 config.setNumWorkers 设置为 1 时,拓扑工作正常。当我将工作人员数量更新为超过 1 或 2 时,KafkaSpout 在查看风暴 UI 时无法确认消息。可能的原因是什么,我无法弄清楚问题的确切性。
我有一个 3 节点集群 运行 一个 nimbus 和 2 个主管。
我的问题已解决。 kafka 无法确认 spout 消息的原因是与主机名冲突。我在两个工作人员的 /etc/hostname 和 /etc/hosts 文件中错误地使用了相同的主机名。当我检查工作人员时,我能够得到异常 - 无法与主机通信。所以我想通了,问题是主机名。我在 etc/hosts 映射和 /etc/host 名称文件中更新了主机名。消息开始被确认。谢谢你。
我有一个从 Kafaka 队列订阅事件的风暴拓扑。当工作人员数量 config.setNumWorkers 设置为 1 时,拓扑工作正常。当我将工作人员数量更新为超过 1 或 2 时,KafkaSpout 在查看风暴 UI 时无法确认消息。可能的原因是什么,我无法弄清楚问题的确切性。
我有一个 3 节点集群 运行 一个 nimbus 和 2 个主管。
我的问题已解决。 kafka 无法确认 spout 消息的原因是与主机名冲突。我在两个工作人员的 /etc/hostname 和 /etc/hosts 文件中错误地使用了相同的主机名。当我检查工作人员时,我能够得到异常 - 无法与主机通信。所以我想通了,问题是主机名。我在 etc/hosts 映射和 /etc/host 名称文件中更新了主机名。消息开始被确认。谢谢你。