Kafka Connect - 工人之间是否需要直接沟通
Kafka Connect - do the workers need direct communication with each other
我的 objective 是使用容器部署 Kafka 连接器(s3 接收器),因此了解有关工作人员如何直接相互通信或不直接通信的详细信息很重要。
根据我的阅读,我不确定工人之间是否会直接交流(比如一个工人使用 REST 或其他方式与另一个工人交谈)。
我一开始以为当我使用 REST 更新配置时,配置更改是通过使用 Kafka 消费者协调器使用 connect_config 内部主题 and/or 传播的..
但据我所读:
rest.advertised.host.name
If this is set, this is the hostname that will be given out to other workers to connect to.
关于工人如何以及为什么(如果他们这样做)相互沟通的任何细节?
是的,当 运行 在分布式模式下,工作人员必须能够连接到彼此的 REST API。
Connect 允许您将任何工作人员的 REST API 用于 create/update/delete 连接器,但在幕后,它将请求转发给 "leader" 工作人员。
这在文档的 REST API section 中有描述:
The REST API is used not only by users to monitor / manage Kafka Connect. It is also used for the Kafka Connect cross-cluster communication. Requests received on the follower nodes REST API will be forwarded to the leader node REST API. In case the URI under which is given host reachable is different from the URI which it listens on, the configuration options rest.advertised.host.name, rest.advertised.port and rest.advertised.listener can be used to change the URI which will be used by the follower nodes to connect with the leader
我的 objective 是使用容器部署 Kafka 连接器(s3 接收器),因此了解有关工作人员如何直接相互通信或不直接通信的详细信息很重要。
根据我的阅读,我不确定工人之间是否会直接交流(比如一个工人使用 REST 或其他方式与另一个工人交谈)。
我一开始以为当我使用 REST 更新配置时,配置更改是通过使用 Kafka 消费者协调器使用 connect_config 内部主题 and/or 传播的..
但据我所读:
rest.advertised.host.name
If this is set, this is the hostname that will be given out to other workers to connect to.
关于工人如何以及为什么(如果他们这样做)相互沟通的任何细节?
是的,当 运行 在分布式模式下,工作人员必须能够连接到彼此的 REST API。
Connect 允许您将任何工作人员的 REST API 用于 create/update/delete 连接器,但在幕后,它将请求转发给 "leader" 工作人员。
这在文档的 REST API section 中有描述:
The REST API is used not only by users to monitor / manage Kafka Connect. It is also used for the Kafka Connect cross-cluster communication. Requests received on the follower nodes REST API will be forwarded to the leader node REST API. In case the URI under which is given host reachable is different from the URI which it listens on, the configuration options rest.advertised.host.name, rest.advertised.port and rest.advertised.listener can be used to change the URI which will be used by the follower nodes to connect with the leader