监控 Kafka 集群、生产者和消费者
Monitoring Kafka Clusters , Producers and Consumers
我是 Kafka 的新手，我有三个节点的 Kafka 集群和多个消费者，producers.I 想根据三个参数监控 Kafka 集群：
1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.
我已经尝试过各种监控工具，例如 (KafkaOffsetMonitor,Burrow)，但其中 none 与我的用例相匹配。那么有人可以建议如何设置这种监控系统吗？是否有可用的 API我可以得到上述详细信息
您可以启动 JConsole 并监控配置了 JMX 的整个 Kafka 集群。有关详细信息，请参阅 https://kafka.apache.org/documentation#monitoring。
我们使用两种东西。
看看这个great blog about monitoring Kafka，大部分关于监控Kafka的工具和文章都在这里总结了。
我是 Kafka 的新手，我有三个节点的 Kafka 集群和多个消费者，producers.I 想根据三个参数监控 Kafka 集群：
1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.
我已经尝试过各种监控工具，例如 (KafkaOffsetMonitor,Burrow)，但其中 none 与我的用例相匹配。那么有人可以建议如何设置这种监控系统吗？是否有可用的 API我可以得到上述详细信息
您可以启动 JConsole 并监控配置了 JMX 的整个 Kafka 集群。有关详细信息，请参阅 https://kafka.apache.org/documentation#monitoring。
我们使用两种东西。
看看这个great blog about monitoring Kafka，大部分关于监控Kafka的工具和文章都在这里总结了。