Kafka - Confluent Hub - 只利用它的一部分

Kafka - Confluent Hub - Exploit only part of it

我在SO里看到过类似的问题,但是没有明确解答我的疑惑

我们有不同的Kafka集群,围绕它有很多利用操作习惯。我们有办法 start/stop 集群,许多有助于维护集群的漏洞利用脚本等。

现在我们想使用 Kafka connect 连接器来满足新的需求,但据我所知,Kafka connect 与 confluent-hub 耦合度极高。 这就像我什至不能在没有安装一个完整的可操作的 confluent-hub 的情况下使用连接器。

这让我们很难使用 Kafka connect 连接器,我知道 confluent-hub 可能是一个帮助 运行 这些连接器的框架,但好像我们甚至不能使用分离的 Kafka集群(一个没有被 confluent-hub 利用的集群..)。

但也许我错过了什么..

您知道是否有任何方法可以在现有的 Kafka 集群(完全独立于 confluent-hub)上正确使用 Kafka 连接器?

已编辑:

更多的是关于 confluent-hub 和 Kafka-connect 之间的高耦合行为的问题。 Kafka connect 附带的所有功能(分布式工作人员处理不同的故障转移场景等)如果没有 confluent-hub 就无法使用,因此 "need" 仅通过 confluent- 拥有 Kafka 集群 运行 hub,当你已经有一个已经有很多 OPS 习惯的大型 Kafka 集群时,这不是一件容易的事。

Kafka Connect 是 Apache Kafka 的一部分。它是一个可插拔的框架,用于在 Kafka 内外的系统之间进行流式集成。

要使用 Kafka Connect,您需要 连接器 用于您要集成的特定技术。例如,S3 sink, Elasticsearch sink, JDBC source or sink,等等。

连接器 API 是 Apache Kafka 的一部分,available 适用于任何想要开发连接器的人。

连接器由不同的人和组织编写,并以各种不同的方式提供。获取连接器的方式取决于所需的连接器、其许可方式以及作者如何使其可供分发。可能是您转到 github,克隆存储库并构建 JAR。您可以直接下载 JAR。

Confluent Hub 所做的就是在一个地方为您提供大量这些连接器,易于搜索,并使用可选的 CLI 工具为您安装它们。

你必须使用 Confluent Hub 吗?不,一点也不。是否可以让您更轻松地找到要使用的连接器,并更轻松地安装它们?希望 :)

免责声明:我为 Confluent 工作。