Kafka Connect 和 Kafka Broker 版本兼容性

Kafka Connect and Kafka Broker version compatibility

我们有一个 "Kerberized Kafka cluster" 运行 代理版本 Apache Kafka 0。11.This 集群由不同的团队管理,我们对此没有任何控制权。

我们现在正在尝试在我们自己的K8S集群上安装Kafka Connect集群。

我们遵循了这个兼容性矩阵 https://docs.confluent.io/current/installation/versions-interoperability.html

据此,由于 Brokers 版本为 0.11

,我们不得不坚持为 Schema Registry 和 Kafka Connect 使用 Confluent Platform 3.3.3 映像 pods

我们还想启用此处实现的 Connect JMX 指标:https://cwiki.apache.org/confluence/display/KAFKA/KIP-196%3A+Add+metrics+to+Kafka+Connect+framework

根据文档,Kafka 1.0.0 支持这些 JMX 指标

问题是:

1) 我们可以在 Kafka Brokers 0.11 版中使用最新的 Confluent 镜像(例如:5.2.0 版)吗?

2) 使用当前设置 (Confluent 3.3.3) 我已启用所有 JMX 指标,但我们没有看到任何基于 Kafka 连接器的指标。 我看到了一般的 Kafka Connect 指标,但没有看到每个连接器的指标(例如 Source 和 Sink 指标)。这是因为我们使用的是旧的 CP 版本吗?

Kafka Connect Workers that are included in Confluent Platform 3.2 and later are compatible with any Kafka broker that is included in Confluent Platform 3.0 and later

注意:Kafka Connect 不是 Confluent Platform 功能,而是基于普通 Apache Kafka API 构建的。因此,使用 Kafka 1.0 和 2.0 客户端库的 Connect 实例仍可与 Kafka 0.11 代理一起使用以实现基本通信协议

如果您遇到 Kerberos 问题,这些问题可能无关

I see general Kafka Connect metrics, but not metrics per each Connector

一般来说,没有像 "number of records read/written to a database" 这样的每个连接器指标,或者至少,这在很大程度上取决于连接器是否实际实现了自己的指标,但是是的,3.3.x 版本全部基于 Kafka 0.11,而不是 1.0,其中添加了更多连接 API 指标