连接 Confluent 与现有的三个 kafka 经纪人

Connect Confluent with already existing three kafka brokers

我是 Confluent 世界的新手,我知道如何从 confluent 启动 kafka,zookeepers,但这不是我需要的。

我已经通过 Ambari 安装了 3 个 kafka 节点和 2 个 zookeeper。之后我下载了 Confluent 的 3.0.0 版本,现在我想将 Confluent 与已经 运行ning 的 Kafka 和 zookeeper 连接起来。我不想实例化 confluent 提供的新 kafka 服务器或 zookeeper 服务器。

有没有人知道如何实现它,从 Confluent 中实际 运行 什么以及要改变什么。

到现在为止,我只是在 Confluent 目录中的 ./etc/kafka 或 ./etc/zookeeper 中更改文件。谢谢!

clarify some basics about Confluent and how manage communication between Confluent and Kafka

首先,没有一个名为 "Confluent" 的应用程序可以单独启动。

无需为 Kafka 或 Zookeeper 配置任何内容。 Confluent Platform 不会在您现有的 Apache Kafka 之上添加任何东西(大概是通过 Hortonworks 或 Cloudera)。

事实上,这些公司确实为 Kafka 添加了 补丁,这些补丁与您从 Confluent 获得的基本 Apache 版本略有不同。

也就是说,如果您仔细阅读 Confluent 提供的每项额外服务,您会注意到 Zookeeper 或 Bootstrap 服务器配置选项。填写这些字段,启动相应的服务,一切顺利。


what to actually run from Confluent

查看bin目录,可以找到所有的启动脚本。从评论来看,您似乎正在尝试使用 Connect Distributed(最近的 Kafka 安装应该已经安装了它,它不是特定于 Confluent 的)和 Schema Registry。你必须更具体地说明你得到的错误,但配置文件都在 etc 路径中。

除非您使用的是 KSQL、REST 代理或控制中心,否则 运行 没什么用,因为如前所述,Kafka Connect 包含在基础 Apache Kafka 项目中,而 Hortonworks 正在维护自己的 Schema Registry项目

2 zookeepers installed by Ambari

这是一个非常不推荐的设置。请安装奇数个 Zookeeper。 3 或 5 个,最好