Kafka Connect 启动失败

Question

我在新的 linux centos 7 上安装了 kafka confluent oss 4.0，但是 kafka connect 无法启动。

重现步骤：

 - Install Oracle JDK 8
 - Copy confluent-4.0.0 folder on opt/confluent-4.0.0
 - Run /opt/confluent-4.0.0/confluent start

结果：

Starting zookeeper
zookeeper is [UP]
Starting kafka
kafka is [UP]
Starting schema-registry
schema-registry is [UP]
Starting kafka-rest
kafka-rest is [UP]
Starting connect
\Kafka Connect failed to start
connect is [DOWN]

错误日志（connect.stderr）：

Exception in thread "main" java.lang.NoClassDefFoundError: io/confluent/connect/storage/StorageSinkConnectorConfig
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
        at java.net.URLClassLoader.access0(URLClassLoader.java:73)
        at java.net.URLClassLoader.run(URLClassLoader.java:368)
        at java.net.URLClassLoader.run(URLClassLoader.java:362)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
        at org.apache.kafka.connect.runtime.isolation.PluginClassLoader.loadClass(PluginClassLoader.java:54)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.getDeclaredConstructors0(Native Method)
        at java.lang.Class.privateGetDeclaredConstructors(Class.java:2671)
        at java.lang.Class.getConstructor0(Class.java:3075)
        at java.lang.Class.newInstance(Class.java:412)
        at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.getPluginDesc(DelegatingClassLoader.java:279)
        at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanPluginPath(DelegatingClassLoader.java:260)
        at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanUrlsAndAddPlugins(DelegatingClassLoader.java:201)
        at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.registerPlugin(DelegatingClassLoader.java:193)
        at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.initLoaders(DelegatingClassLoader.java:153)
        at org.apache.kafka.connect.runtime.isolation.Plugins.<init>(Plugins.java:47)
        at org.apache.kafka.connect.cli.ConnectDistributed.main(ConnectDistributed.java:70)
Caused by: java.lang.ClassNotFoundException: io.confluent.connect.storage.StorageSinkConnectorConfig
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at org.apache.kafka.connect.runtime.isolation.PluginClassLoader.loadClass(PluginClassLoader.java:62)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 22 more

补充信息：

Java版本：

java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode

Centos 版本：

centos-release-7-4.1708.el7.centos.x86_64

[编辑：2017 年 11 月 30 日] 在每个属性文件中编辑 plugin.path 变量未能解决问题。

包含 'plugin.path' 变量的文件列表：

./etc/schema-registry/connect-avro-distributed.properties:84:plugin.path=/opt/confluent-4.0.0/share/java
./etc/schema-registry/connect-avro-standalone.properties:51:plugin.path=/opt/confluent-4.0.0/share/java
./etc/kafka/connect-distributed.properties:95:plugin.path=/opt/confluent-4.0.0/share/java
./etc/kafka/connect-standalone.properties:50:plugin.path=/opt/confluent-4.0.0/share/java

Answer 1

对于 Confluent 4.0.0，Kafka Connect 默认启用 plugin.path 类加载隔离。

当您从 deb 或 rpm 软件包安装 Confluent Platform 时，您的 plugin.path 的默认位置是事先已知的。

但是，当您在文件系统某处下载并解压缩 Confluent Platform 的 zip 或 tar.gz 存档时，它被设置为：

plugin.path=share/java

这是一个相对路径，因为当您将 Confluent Platform 下载为存档时（zip 或 tar.gz），您提取存档的位置是未知的（在上面的示例中它是/opt/confluent-4.0.0/).

如果您从提取 Confluent 平台的目录中运行 CLI 或 Connect 的 bin 脚本将能够猜测这个位置：

例如，在上面的例子中：

cd /opt/confluent-4.0.0

./bin/confluent start

如果 Confluent Platform 的 bin 目录位于 PATH 中，为了能够从文件系统中的任何目录启动 Connect，您需要设置属性 plugin.path 到你的插件的绝对路径位置：

要使用 Confluent CLI 编辑：

etc/schema-registry/connect-avro-distributed.properties

并适当设置 plugin.path（此处：plugin.path=/opt/confluent-4.0.0/share/java）

对于常规 bin 脚本编辑：

./etc/kafka/connect-distributed.properties

和

./etc/kafka/connect-standalone.properties

并如上所述设置 plugin.path（同样，在您的示例中：plugin.path=/opt/confluent-4.0.0/share/java）。

Answer 2

鉴于您使用了 tar 安装（而不是 Docker 图像方法）。长话短说，您需要在 Confluent 发行版中，在我的示例中是 confluent-6.1.0
如截图所示，当你在根目录下运行命令confluent local services start时，连接失败。失败之后的任何东西（例如 ksqlDB、控制中心等）甚至都没有机会 start。当您运行在 confluent-6.1.0 中执行相同的命令时，一切正常。

Kafka Connect 启动失败

Kafka Connect failed to start

apache-kafka

apache-kafka-connect

confluent-platform