kafka 中不同主题的多个连接器将转到同一个节点
multiple connectors in kafka to different topics are going to same node
我在 kafka-connect 中创建了两个 kafka 连接器，它们使用相同的连接器 class 但它们收听的主题不同。
当我在我的节点上启动进程时，两个连接器最终都在此进程上创建任务。但是，我希望一个节点只处理一个 connector/topic。如何将 topic/connector 限制为单个节点？我在 connect-distributed.properties 中没有看到任何配置，其中进程可以指定要使用的连接器。
谢谢
分布式模式下的 Kafka Connect 可以 运行 作为一个或多个 worker 的集群。每个 worker 可以 运行 多个 tasks。根据您 运行 有多少 连接器 和 工人 ，您将有 任务 运行在同一个 worker 上工作。这是经过深思熟虑的——这个想法是 Kafka Connect 将跨可用的工作人员为您管理您的任务和工作量。
如果你想隔离你的处理，你可以 运行 Kafka Connect 作为单独的 Connect 集群，可以在同一台机器上（确保使用不同的 REST 端口），也可以在不同的机器上。
有关详细信息，请参阅 architecture and config 以了解配置单独集群的步骤。请注意，集群实际上可以是单个工作人员，但是在发生故障时您没有任何冗余。
我在 kafka-connect 中创建了两个 kafka 连接器，它们使用相同的连接器 class 但它们收听的主题不同。
当我在我的节点上启动进程时，两个连接器最终都在此进程上创建任务。但是，我希望一个节点只处理一个 connector/topic。如何将 topic/connector 限制为单个节点？我在 connect-distributed.properties 中没有看到任何配置，其中进程可以指定要使用的连接器。
谢谢
分布式模式下的 Kafka Connect 可以 运行 作为一个或多个 worker 的集群。每个 worker 可以 运行 多个 tasks。根据您 运行 有多少 连接器 和 工人 ，您将有 任务 运行在同一个 worker 上工作。这是经过深思熟虑的——这个想法是 Kafka Connect 将跨可用的工作人员为您管理您的任务和工作量。
如果你想隔离你的处理，你可以 运行 Kafka Connect 作为单独的 Connect 集群，可以在同一台机器上（确保使用不同的 REST 端口），也可以在不同的机器上。
有关详细信息，请参阅 architecture and config 以了解配置单独集群的步骤。请注意，集群实际上可以是单个工作人员，但是在发生故障时您没有任何冗余。