将连接器添加到 Kafka Connect

Question

我正在使用 Confluent Kafka Docker 图像，具体使用这个：https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one

我想添加 MySQL 连接器，方法是：

正在下载连接器版本 1.5.46 (https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz)
使用来自下载连接器的 jar 安装卷 (mysql-connector-java-5.1.46-bin.jar)
将 CONNECT_PLUGIN_PATH 添加到 docker 撰写文件

基本上，从撰写文件中推断出感兴趣的部分，这是重要的片段：

environment:
  <cut>
  CONNECT_PLUGIN_PATH: '/etc/kafka-connect/jars/'
volumes:
  - "./mysql_connector:/etc/kafka-connect/jars/"

JAR 正确存在于 Docker 容器中。

但是，当然，如果我尝试使用该连接器，我在启用的连接器列表中找不到。如果我去控制中心，我会看到：

[{
    "class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
    "type": "sink",
    "version": "1.0.0-cp1"
}, {
    "class": "org.apache.kafka.connect.file.FileStreamSourceConnector",
    "type": "source",
    "version": "1.0.0-cp1"
}]

Answer 1

您的插件路径需要包含实际 JDBC 连接 JAR 文件以及 MySQL JAR

的路径

如果您将 MySQL JAR 安装在此路径下

/usr/share/java/kafka-connect-jdbc

然后设置CONNECT_PLUGIN_PATH=/usr/share/java，然后您就可以访问所有捆绑的连接器。而 JDBC 连接器将能够 read/write MySQL 数据。

将连接器添加到 Kafka Connect

Adding a connector to Kafka Connect

jar

apache-kafka

apache-kafka-connect