从 Rest API 发送数据到 kafka
Send data from Rest API To kafka
我刚开始学习 Kafka,我正在尝试构建一个原型,让生产者成为 REST API 并将数据发送给 Kafka 消费者。我浏览了很多文档来找出一些特定的程序。
我无法理解是否有一个连接器可以像 fileconnector 或为 Apache Kafka 提供的 JDBC 连接器一样使用。我应该为此编写自定义连接器吗?
我很困惑从哪里开始。我特别在寻找一些关于如何完成这项工作的结构化文档或想法。
无需编写连接器(此外,python 也不可能)。一个已经存在用于 HTTP。
听起来您在谈论 REST Proxy 中已经存在的功能。这提供了一个 REST API 用于将数据生成到 Kafka 或从 Kafka 消费数据。
编辑:根据您的评论,我了解到您的问题有所不同。如果您想将数据从 REST 端点拉入 Kafka,您可以使用 Kafka Connect 和 kafka-connect-rest plugin. There's an example of it in use here。
我刚开始学习 Kafka,我正在尝试构建一个原型,让生产者成为 REST API 并将数据发送给 Kafka 消费者。我浏览了很多文档来找出一些特定的程序。
我无法理解是否有一个连接器可以像 fileconnector 或为 Apache Kafka 提供的 JDBC 连接器一样使用。我应该为此编写自定义连接器吗?
我很困惑从哪里开始。我特别在寻找一些关于如何完成这项工作的结构化文档或想法。
无需编写连接器(此外,python 也不可能)。一个已经存在用于 HTTP。
听起来您在谈论 REST Proxy 中已经存在的功能。这提供了一个 REST API 用于将数据生成到 Kafka 或从 Kafka 消费数据。
编辑:根据您的评论,我了解到您的问题有所不同。如果您想将数据从 REST 端点拉入 Kafka,您可以使用 Kafka Connect 和 kafka-connect-rest plugin. There's an example of it in use here。