到 Kafka Connect 的 Webhook 数据

Question

我正在使用 Kafka 连接从不同的地方提取数据：mysql、mongodb 等。然后发送到弹性搜索。

我想提取源为 webhook 的数据。那么，我可以配置一些 Kafka URL 来向它发送 post http 请求吗？发送到我的 Kafka http post 请求的好习惯是什么？

Answer 1

Confluent 维护着一个源码可用的 Kafka REST Proxy（一定要阅读项目的 Confluent Community License）。这将允许您“发送 POST 请求”到将此数据转发到 Kafka 的东西。除此之外，您自己编写一个简单的 HTTP 端点来执行相同的操作。

就我个人而言，我使用 Nifi 的 ListenHTTP 处理程序来接受 webhook，然后将其解析、路由、过滤等到 ProduceKafka 请求中

否则“拉取数据”不是网络挂钩，Github 上有一些“Kafka Connect http”源项目。