Kafka Cluster 在没有 zookeeper 的情况下继续 运行
Kafka Cluster cotinues to run without zookeeper
我有一个五节点的 kafka 集群(confluent 5.5 社区版),每个节点在不同的 aws 实例上有 3 个 zookeeper 节点。
在进行故障转移测试时,注意到即使所有 zookeeper 节点都关闭,kafka 集群也能正常工作。
我能够生产、消费并创造新的消费者。
- 为什么 kafka 集群无法连接到任何 zookeeper 节点时不会停止?
- 如果我们没有意识到生产中的这种故障情况并且 kafka 集群在没有 zookeeper 连接的情况下继续运行,可能会出现什么问题?
- 我们如何处理这种情况?
Broker 领导者选举、主题创建、简单的 ACL(如果您使用它们)仍然依赖于 Zookeeper。对于依赖 Kafka bootstrap 协议的其他基本功能,它们可能仍然有效,当然。绝对应该有代理日志表明连接丢失
理想情况下,您应该拥有基本的流程健康检查和事件管理软件,这样您就不会错过生产中出现故障的关键服务
如何处理?重新启动 Zookeeper...
我有一个五节点的 kafka 集群(confluent 5.5 社区版),每个节点在不同的 aws 实例上有 3 个 zookeeper 节点。 在进行故障转移测试时,注意到即使所有 zookeeper 节点都关闭,kafka 集群也能正常工作。 我能够生产、消费并创造新的消费者。
- 为什么 kafka 集群无法连接到任何 zookeeper 节点时不会停止?
- 如果我们没有意识到生产中的这种故障情况并且 kafka 集群在没有 zookeeper 连接的情况下继续运行,可能会出现什么问题?
- 我们如何处理这种情况?
Broker 领导者选举、主题创建、简单的 ACL(如果您使用它们)仍然依赖于 Zookeeper。对于依赖 Kafka bootstrap 协议的其他基本功能,它们可能仍然有效,当然。绝对应该有代理日志表明连接丢失
理想情况下,您应该拥有基本的流程健康检查和事件管理软件,这样您就不会错过生产中出现故障的关键服务
如何处理?重新启动 Zookeeper...