需要使用 Kafka Connect 将小 JSON 消息从 Kafka 移动到 HDFS,但不使用 Confluent 库,如果不是完全免费的话

Need to move small JSON messages from Kafka to HDFS with Kakfa Connect but without using Confluent libs, if not completely free

我想使用 Kakfa Connect 将 JSON 消息从 Kafka 移动到 HDFS,然后 Impala,仅使用 OpenSource 库。

我试图了解是否可以将 Confluent Sink 库用于 Kakfa Connect,而无需使用整个 Confluent 发行版。

还有其他 and/or 更好的选择吗?

Kafka Connect HDFS 2 Sink is available under the Confluent Community Licence。它是 Apache Kafka 的插件;您无需 运行 Confluent Platform 即可使用它。