KafkaTimeoutError('Failed to update metadata after 60.0 secs.')

Question

我正在使用Python 3.6写一个Kafka生产者，Python-kafka客户端版本是1.4.4。Kafka版本是：2.1.0 & 1.1.1（两个版本是试过了），但是当我给生产者写消息时，抛出这个错误：

KafkaTimeoutError('Failed to update metadata after 60.0 secs.')

这是我的客户端代码：

producer = KafkaProducer(
  bootstrap_servers=['mq-server:9092'],
  api_version = (0,10,2,0) # solve no broker error
)

producer.send("dolphin-test".encode('utf-8'),b"test")

这是我修改的服务器配置：

listeners=PLAINTEXT://10.142.0.2:9092
advertised.listeners=PLAINTEXT://10.142.0.2:9092

当使用脚本生成和消费消息时，它工作正常！这是客户端跟踪输出：

D:\project\souce\pydolphin-service>D:/Programs/Python/Python37/python.exe d:/project/souce/pydolphin-service/dolphin/producer.py
Traceback (most recent call last):
  File "d:/project/souce/pydolphin-service/dolphin/producer.py", line 14, in <module>
    future = producer.send('my-topic', b'raw_bytes')
  File "D:\Programs\Python\Python37\lib\site-packages\kafka\producer\kafka.py", line 555, in send
    self._wait_on_metadata(topic, self.config['max_block_ms'] / 1000.0)
  File "D:\Programs\Python\Python37\lib\site-packages\kafka\producer\kafka.py", line 682, in _wait_on_metadata
    "Failed to update metadata after %.1f secs." % (max_wait,))
kafka.errors.KafkaTimeoutError: KafkaTimeoutError: Failed to update metadata after 60.0 secs.

我正在从 google & baidu & yandex 搜索。

Answer 1

是否有防火墙 b/w 你的开发箱和 kafka 服务器。你可以试试 telnet mq-server 9092

Answer 2

调整广告配置：

advertised.listeners=PLAINTEXT://external-ip:9092

修改NAT内网ip为public内网ip。因为生产者会向这个地址发送消息。 Producer 只能访问 public 了。

KafkaTimeoutError('Failed to update metadata after 60.0 secs.')

KafkaTimeoutError('Failed to update metadata after 60.0 secs.')

python

apache-kafka

kafka-python