Kafka多节点集群监控
Kafka multi node cluster monitoring
我有 Kafka 集群,每个集群有 3 个服务器和 3 个代理。我已经能够使用 jmx 监控 1 个代理。但是我注意到 jmx 传输的数据只与我们连接的指定代理有关。
我如何监控"cluster"一般情况(例如,我想知道主题的消息吞吐量)?
单个代理的 JMX 数据不会知道其他代理。您必须在每台服务器上安装指标收集器并将数据聚合到指标数据库中。
Prometheus + JMX exporter + Grafana 是一个流行的组合
我有 Kafka 集群,每个集群有 3 个服务器和 3 个代理。我已经能够使用 jmx 监控 1 个代理。但是我注意到 jmx 传输的数据只与我们连接的指定代理有关。
我如何监控"cluster"一般情况(例如,我想知道主题的消息吞吐量)?
单个代理的 JMX 数据不会知道其他代理。您必须在每台服务器上安装指标收集器并将数据聚合到指标数据库中。
Prometheus + JMX exporter + Grafana 是一个流行的组合