Kafka 0.9 及更高版本中的 Zookeeper 失败
Zookeeper failures in Kafka 0.9 and above
基于 Is Zookeeper a must for Kafka? 中给出的答案。
很清楚Kafka 0.9及以上版本Zookeeper的职责是什么
我只是想了解如果zookeeper集群完全宕机会有什么影响?
kafka 使用 ZK 进行成员资格(找出哪些经纪人存在以及哪些经纪人还活着)和领导者选举(随时选出一个作为集群控制器的经纪人)。
简单地说——如果 ZK 失败,kafka 就会死掉。
如果 ZK 打喷嚏(比如特别长的 GC 暂停或短暂的网络连接问题),kafka 集群可能会暂时 "lose" 任意数量的成员 and/or 控制器。到这个问题解决的时候,你可能会有一个新的控制器和所有分区的新领导代理(这可能会也可能不会导致确认数据丢失,请参阅 "unclean leader election")。我不确定是否所有正在进行的事务都会回滚 - 从未尝试过。
基于 Is Zookeeper a must for Kafka? 中给出的答案。 很清楚Kafka 0.9及以上版本Zookeeper的职责是什么
我只是想了解如果zookeeper集群完全宕机会有什么影响?
kafka 使用 ZK 进行成员资格(找出哪些经纪人存在以及哪些经纪人还活着)和领导者选举(随时选出一个作为集群控制器的经纪人)。
简单地说——如果 ZK 失败,kafka 就会死掉。
如果 ZK 打喷嚏(比如特别长的 GC 暂停或短暂的网络连接问题),kafka 集群可能会暂时 "lose" 任意数量的成员 and/or 控制器。到这个问题解决的时候,你可能会有一个新的控制器和所有分区的新领导代理(这可能会也可能不会导致确认数据丢失,请参阅 "unclean leader election")。我不确定是否所有正在进行的事务都会回滚 - 从未尝试过。