如何监控 Kafka 代理和消费者的健康状况 (Python)
How to Monitor Health of Kafka Brokers and Consumers (Python)
我正在使用 Kafka 集群处理流数据，我的系统有多个代理和一个大的消费者组。现在我想使用另一个 Python 服务来监控每个经纪人和消费者的健康状况。谁能建议我对我来说最好的方法是什么。有什么 "like four letter word" zookeeper 的方法，或者我可以用它来创建类似于 4lw 的东西的其他方法吗？
Kafka 通过 JMX 为 broker、produce 和 consumer 公开了几个指标。根据您的监控要求，您可以选择合适的指标。
要通过 python 访问它们，您可以使用 Jython 或 jolokia 插件。查看 this 答案
我正在使用 Kafka 集群处理流数据，我的系统有多个代理和一个大的消费者组。现在我想使用另一个 Python 服务来监控每个经纪人和消费者的健康状况。谁能建议我对我来说最好的方法是什么。有什么 "like four letter word" zookeeper 的方法，或者我可以用它来创建类似于 4lw 的东西的其他方法吗？
Kafka 通过 JMX 为 broker、produce 和 consumer 公开了几个指标。根据您的监控要求，您可以选择合适的指标。
要通过 python 访问它们，您可以使用 Jython 或 jolokia 插件。查看 this 答案