通过 ambari 添加连接器插件 kafka

Question

我是 apache 环境中的新手，它有一些让我真的很奇怪的东西。我的 kafka 是通过 ambari 安装的。所以一切都可以通过 ambari 的 GUI 启动。当通过 ambari 安装 kafka 时，它包含 kafka-connect。但是如果我需要的连接器不包括在内怎么办？以下是其中包含的一些连接器。

/etc/kafka-connect-activemq
/etc/kafka-connect-elasticsearch
/etc/kafka-connect-ibmmq
/etc/kafka-connect-jdbc
/etc/kafka-connect-jms
/etc/kafka-connect-replicator
/etc/kafka-connect-s3
/etc/kafka-connect-storage-common
/etc/kafka-connect-activemq/ActiveMQSourceConnector.properties
/etc/kafka-connect-activemq/connect-avro-localhost.properties
/etc/kafka-connect-elasticsearch/quickstart-elasticsearch.properties
/etc/kafka-connect-ibmmq/IbmMQSourceConnector.properties
/etc/kafka-connect-ibmmq/connect-avro-localhost.properties
/etc/kafka-connect-jdbc/sink-quickstart-sqlite.properties
/etc/kafka-connect-jdbc/source-quickstart-sqlite.properties
/etc/kafka-connect-jms/ActiveMQSourceConnector.properties
/etc/kafka-connect-jms/JMSSourceConnector.properties
/etc/kafka-connect-jms/connect-avro-localhost.properties
/etc/kafka-connect-replicator/quickstart-replicator-unicluster.properties
/etc/kafka-connect-replicator/quickstart-replicator.properties
/etc/kafka-connect-replicator/replicator-connect-distributed.properties
/etc/kafka-connect-replicator/replicator-connect-standalone.properties
/etc/kafka-connect-replicator/replicator-log4j.properties
/etc/kafka-connect-replicator/replicator.properties
/etc/kafka-connect-s3/quickstart-s3.properties
/etc/kafka-connect-s3/quickstart-schema-source-for-s3.properties

但我需要的是 hdfs3-sink。我如何在没有汇合的情况下实现它？

任何建议将不胜感激。谢谢

Answer 1

我所知道的唯一用于 Kafka Connect 的 HDFS 3 连接器是来自 Confluent 的这个连接器：https://www.confluent.io/hub/confluentinc/kafka-connect-hdfs3/。

要安装它，您可以直接下载 JAR，或使用 confluent-hub CLI 工具来安装它。

通过 ambari 添加连接器插件 kafka

add connector plugin kafka by ambari

apache-kafka

hdfs

apache-kafka-connect

ambari

confluent-platform