运行 kafka 在分布式模式下连接?

Running kafka connect in Distributed mode?

我总共有 3 个虚拟机 (CloudVPS)。他们每个人都安装了 java、融合的开源软件。在 VM1 中,我是 运行 3 个 Splunk-sink-connector 进程,它们从不同的主题读取并且在不同的端口上 运行。我使用 REST 调用向每个调用发布了 JSON 配置。

因为我 运行 处于分布式模式,所以我也想利用其他 2 个 VM。谁能告诉我该怎么做,将其他 2 个虚拟机添加到这 3 个进程以实现并行处理。

您只需要 运行 在三个虚拟机上以分布式模式连接 Kafka,follow the instructions here and make sure you give them all the same group.id which identifies them as members of the same cluster (and thus eligible for sharing workload of tasks out across them). More config details for distributed mode here

另请参阅: