Kubernetes Kafka 到 Zookeeper - "ZooKeeperClientTimeoutException" 错误

Question

对于上下文，我通过 Helm 在使用 Kubernetes 的 Ubuntu 机器上本地启动 Kafka 和 Zookeeper：

  - name: kafka
    version: 12.7.3
    repository: https://charts.bitnami.com/bitnami

我查看了有关此错误的现有问题，但 none 似乎与我的问题完全相关。对于这些存在的问题，我看到问题似乎涉及 docker 网络或通信。但是，在我的本地设置中，我可以看到 Kafka 可以成功地与 Zookeeper 通信并启动 TCP 连接。我看到了以下 tshark 日志，其中 .83 是 Kafka，.80 是 Zookeeper：

 57 118.532604170 192.168.83.83 → 192.168.83.80 TCP 74 44978 → 2181 [SYN] Seq=0 Win=64800 Len=0 MSS=1440 SACK_PERM=1 TSval=3500466016 TSecr=0 WS=128
   58 118.532617080 192.168.83.80 → 192.168.83.83 TCP 74 2181 → 44978 [SYN, ACK] Seq=0 Ack=1 Win=64260 Len=0 MSS=1440 SACK_PERM=1 TSval=1996498322 TSecr=3500466016 WS=128
   59 118.532633329 192.168.83.83 → 192.168.83.80 TCP 66 44978 → 2181 [ACK] Seq=1 Ack=1 Win=64896 Len=0 TSval=3500466016 TSecr=1996498322
   60 118.535617526 192.168.83.83 → 192.168.83.80 TCP 115 44978 → 2181 [PSH, ACK] Seq=1 Ack=1 Win=64896 Len=49 TSval=3500466019 TSecr=1996498322
   61 118.535644624 192.168.83.80 → 192.168.83.83 TCP 66 2181 → 44978 [ACK] Seq=1 Ack=50 Win=64256 Len=0 TSval=1996498325 TSecr=3500466019
   62 118.537006985 192.168.83.80 → 192.168.83.83 TCP 107 2181 → 44978 [PSH, ACK] Seq=1 Ack=50 Win=64256 Len=41 TSval=1996498326 TSecr=3500466019
   63 118.537047974 192.168.83.83 → 192.168.83.80 TCP 66 44978 → 2181 [ACK] Seq=50 Ack=42 Win=64896 Len=0 TSval=3500466020 TSecr=1996498326
   64 118.540259005 192.168.83.83 → 192.168.83.80 TCP 78 44978 → 2181 [PSH, ACK] Seq=50 Ack=42 Win=64896 Len=12 TSval=3500466024 TSecr=1996498326
   65 118.540263332 192.168.83.80 → 192.168.83.83 TCP 66 2181 → 44978 [ACK] Seq=42 Ack=62 Win=64256 Len=0 TSval=1996498330 TSecr=3500466024
   66 118.541564514 192.168.83.80 → 192.168.83.83 SMPP 86 Bind_receiver[Malformed Packet]
   67 118.541607278 192.168.83.83 → 192.168.83.80 TCP 66 44978 → 2181 [ACK] Seq=62 Ack=62 Win=64896 Len=0 TSval=3500466025 TSecr=1996498331
   68 118.541999795 192.168.83.80 → 192.168.83.83 TCP 66 2181 → 44978 [FIN, ACK] Seq=62 Ack=62 Win=64256 Len=0 TSval=1996498331 TSecr=3500466025
   69 118.542214437 192.168.83.83 → 192.168.83.80 TCP 66 44978 → 2181 [FIN, ACK] Seq=62 Ack=63 Win=64896 Len=0 TSval=3500466026 TSecr=1996498331

尽管如此，我似乎仍然在 Kafka 日志中看到以下错误：

[2021-01-29 19:17:49,922] INFO Session: 0x1000031e07c0011 closed (org.apache.zookeeper.ZooKeeper)
[2021-01-29 19:17:49,922] INFO EventThread shut down for session: 0x1000031e07c0011 (org.apache.zookeeper.ClientCnxn)
[2021-01-29 19:17:49,925] INFO [ZooKeeperClient Kafka server] Closed. (kafka.zookeeper.ZooKeeperClient)
[2021-01-29 19:17:49,928] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
    at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected(ZooKeeperClient.scala:262)
    at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:258)
    at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:119)
    at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1881)
    at kafka.server.KafkaServer.createZkClient(KafkaServer.scala:441)
    at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:466)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:233)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
    at kafka.Kafka$.main(Kafka.scala:82)
    at kafka.Kafka.main(Kafka.scala)

我已经尝试了一些方法：

如上所述，我看到 Kafka 和 Zookeeper 之间的 IP/TCP 流量似乎工作正常，所以我不认为这是一个潜在的路由问题。
这有点像（1）所暗示的，但我查看了nat table 中的iptables 规则，这些规则似乎是正确的。 zookeeper 服务正确 NAT 到 zookeeper pod IP。
我已经从 Kafka pod 中手动尝试运行调试命令，以再次确认它是否可以与 Zookeeper 建立端到端连接。以下似乎有效：echo mntr | nc 10.96.85.98 2181.
据我所知，我没有任何防火墙运行。 iptables 中完全有可能阻止另一层工作，但这是我希望弄清楚的。

Answer 1

我现在有这个工作。这似乎是因为我反复关闭和启动集群并且没有正确清除网络状态，这可能导致某处出现某种黑洞。

这可能有点矫枉过正，但我最终所做的只是刷新 iptables 规则并重新启动所有相关服务，例如 docker，这需要特殊的 iptables 规则。现在集群可以正常工作了，我不打算反复重新创建集群。

Kubernetes Kafka 到 Zookeeper - "ZooKeeperClientTimeoutException" 错误

Kubernetes Kafka to Zookeeper - "ZooKeeperClientTimeoutException" error

apache-kafka

kubernetes

apache-zookeeper

kubernetes-helm