具有 Confluent 组件的原生 Apache Kafka 和 Zookeeper？

Question

能否请您告诉我 Apache Kafka 和 Zookeeper（本机 Apache 发行版）与某些 Confluent 组件的兼容性。我已经在我的环境中安装了 Kafka 和 Zookeeper 作为多节点集群。但是现在我需要添加模式注册表，kafka-connect。

所以我实际上尝试从他们的官方 docker 图像部署 Confluent Schema 注册表。我登录并能够成功地在端口 9093

上远程登录 kafka 代理

root@schema-0:/usr/bin# telnet kafka-0.kafka-hs 9093
Trying 10.244.3.47...
Connected to kafka-0.kafka-hs.log-platform.svc.cluster.local.
Escape character is '^]'.

在我尝试做一些测试之后：

# /usr/bin/kafka-avro-console-producer \
  --broker-list localhost:9093 --topic bar \
  --property value.schema='{"type":"record","name":"myrecord","fields" \
  [{"name":"f1","type":"string"}]}'

添加一些值：

{"f1": "value1"}

但运气不好 :(。遇到下一个错误：

value.serializer = class org.apache.kafka.common.serialization.ByteArraySerializer
 (org.apache.kafka.clients.producer.ProducerConfig)

[2018-01-28 11:23:23,561] INFO Kafka version : 1.0.0-cp1 (org.apache.kafka.common.utils.AppInfoParser)

[2018-01-28 11:23:23,561] INFO Kafka commitId : ec61c5e93da662df (org.apache.kafka.common.utils.AppInfoParser){"f1": "value1"}

[2018-01-28 11:23:36,233] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

[2018-01-28 11:23:36,335] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-01-28 11:23:36,486] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

整个系统都在 Kubernetes 上运行

Answer 1

Confluent Platform 是 Apache Kafka，但捆绑了其他组件（例如 Schema Registry）。

您遇到的错误与网络配置有关。您需要确保您的 Broker 可用于其他节点，包括 Schema Registry。在您的 Schema Registry 配置中，您指定了 broker-list localhost:9093 但这应该是您的 Kafka 代理。此外，正如 Dmitry Minkovsky 提到的那样，请确保您已在代理中设置了广告监听器。 This article 可能会有帮助。

具有 Confluent 组件的原生 Apache Kafka 和 Zookeeper？

Native Apache Kafka and Zookeeper with Confluent components?

apache-kafka

confluent-platform