如何建立从 MQTT 到 KAFKA Broker 再到 MongoDB 的数据管道？

Question

我如何制作数据管道，我正在使用源连接器将数据从 MQTT 发送到 KAFKA 主题。另一方面，我还使用 Sink Connector 将 Kafka Broker 连接到 MongoDB。我在制作从 MQTT 到 KAFKA 然后 MongoDB 的数据管道时遇到了问题。两个连接器都单独正常工作。我如何整合它们？

这是我的 MQTT 连接器

MQTT Connector

Node 1 MQTT Connector

Message Published from MQTT

Kafka Consumer

Node 2 MongoDB Connector

MongoDB

那是我的 MongoDB 连接器

MongoDB Connector

Answer 1

如果没有更多的日志，很难说出问题到底是什么，请同时提供您的connect.config，请检查您的连接器的/status，我仍然不明白您所面临的问题到底是什么，你是说，MQTT SOURCE CONNECTOR 成功发送消息到 KAFKA TOPIC 和你的 MONGO DB SINK CONNECTOR 成功读取这个 KAFKA TOPIC 并写入你的 mobgodb，因此你的管道，错误在哪里？你的KAFKA是同一个KAFKA吗？或者分开不同的KAFKA CLUSTERS？好像都是localhost，但是是同一台机器吗？

请详细说明您的期望是什么？ “管道”在您的语言中是什么意思？

您需要两个连接器共享同一个 kafka 集群，node1 和 node2 是什么意思？它是单独的 kafka 实例吗？您的连接器需要连接到同一个 kafka“节点”/集群，以便共享 kafka 主题内的数据，一个用于输入，一个用于输出，共享您的 bootstrap 服务参数，共享您的 server.properties 作为卡夫卡之井

为了运行同一个kafka中的两个不同的连接集群，你需要为每个连接集群设置不同的内部主题

config.storage.topic
offset.storage.topic
status.storage.topic

如何建立从 MQTT 到 KAFKA Broker 再到 MongoDB 的数据管道？

How to make a Data Pipeline from MQTT to KAFKA Broker to MongoDB?

mongodb

apache-kafka

kafka-consumer-api

apache-kafka-connect

confluent-platform