卡夫卡连接。如何为连接器启用 jmx 指标
Kafka-connect. How to Enable jmx metrics for connectors
如何为 Kafka 连接器启用 jmx 指标?我是 运行 连接分布式。
我通过在 kafka-run-class.sh
中启用 JMX_PORT
为 Kafka 启用了 jmx 指标。
现在虽然它已经开始给我很多 Kafka 相关指标,但我仍然看不到下面提到的特定于连接器的指标 link
http://kafka.apache.org/documentation.html#connect_monitoring.
以下域可用
- JMI实现
- com.sun.management
- java.lang
- java.nio
- java.util.logging
- 卡夫卡
- kafka.cluster
- kafka.controller
- kafka.coordinator.group
- kafka.coordinator.transaction
- kafka.log
- kafka.network
- kafka.server
- kafka.utils
评论中提到的问题 - 你确定你连接到正确的Java实例而不是Kafka broker JMX 指标?因为 kafka.server
和 kafka.controller
都不应该用于 ConnectDistributed 进程。 (您应该查看您所连接的进程的主要 class)
只有一个 属性、JMX_PORT
,它由 Kafka 代理和 Kafka 连接器(以及 Zookeeper、Schema Registry、KSQL 等)共享...如果你这样做不为每个使用不同的端口,那么您尝试 运行 的每个下一个进程都将无法启动,表示端口已经打开
如果您有可用的硬件,或者可以在一台机器(Docker 或 VM)上隔离组件,那么这是重新映射端口的简单方法。
否则,您需要执行类似
的操作
export JMX_PORT=35000 # pick a number
zookeeper-server-start...
export JMX_PORT=35001 # pick a number
kafka-server-start...
export JMX_PORT=35002 # pick a number
connect-distributed...
然后,连接到每个 JVM 的适当端口
然后,当您对此感到满意时,我会建议您在生产部署设置上找到 Confluent 白皮书,其中 Connect 至少(与所有其他生产者和消费者一样)是 运行从实际经纪人中脱颖而出。
如何为 Kafka 连接器启用 jmx 指标?我是 运行 连接分布式。
我通过在 kafka-run-class.sh
中启用 JMX_PORT
为 Kafka 启用了 jmx 指标。
现在虽然它已经开始给我很多 Kafka 相关指标,但我仍然看不到下面提到的特定于连接器的指标 link http://kafka.apache.org/documentation.html#connect_monitoring.
以下域可用
- JMI实现
- com.sun.management
- java.lang
- java.nio
- java.util.logging
- 卡夫卡
- kafka.cluster
- kafka.controller
- kafka.coordinator.group
- kafka.coordinator.transaction
- kafka.log
- kafka.network
- kafka.server
- kafka.utils
评论中提到的问题 - 你确定你连接到正确的Java实例而不是Kafka broker JMX 指标?因为 kafka.server
和 kafka.controller
都不应该用于 ConnectDistributed 进程。 (您应该查看您所连接的进程的主要 class)
只有一个 属性、JMX_PORT
,它由 Kafka 代理和 Kafka 连接器(以及 Zookeeper、Schema Registry、KSQL 等)共享...如果你这样做不为每个使用不同的端口,那么您尝试 运行 的每个下一个进程都将无法启动,表示端口已经打开
如果您有可用的硬件,或者可以在一台机器(Docker 或 VM)上隔离组件,那么这是重新映射端口的简单方法。
否则,您需要执行类似
的操作export JMX_PORT=35000 # pick a number
zookeeper-server-start...
export JMX_PORT=35001 # pick a number
kafka-server-start...
export JMX_PORT=35002 # pick a number
connect-distributed...
然后,连接到每个 JVM 的适当端口
然后,当您对此感到满意时,我会建议您在生产部署设置上找到 Confluent 白皮书,其中 Connect 至少(与所有其他生产者和消费者一样)是 运行从实际经纪人中脱颖而出。