Kafka 监控工具

Question

我有我的 Kafka(0.9.0.0) 节点和 Zookeeper 设置，我有 3 个 Kafka 节点和 3 个 Zookeeper 节点，它工作得非常好。

现在我正在寻找一套监控工具来监控主题、每个节点上的负载、内存使用情况。有什么好的工具吗？

1) 我尝试探索 Kafka-Manager -- 但它只支持到 0.8.2.2 版本。

2) Ganglia - 它给出了一些东西的概述，但它给 Kafka 节点带来了太多负载，需要在每个节点上安装。

3) Nagios - 它可以正常工作，但没有提供太多细节，它还需要安装在每个节点上。

所以，我一直在寻找的是一个工具，它可以让我深入了解 运行状况、性能、内存消耗、出现问题时的通知、节点状态 和所有其他每个 Kafka 和 zookeeper 节点的详细信息，无需在每个节点上安装。我正计划拥有一个中央监控服务器，其中我拥有可用于此目的的所有工具。

人们用来监控 Kafka 集群的工具集是什么？

Answer 1

SPM for Kafka monitoring 可以做你提到的一切。它适用于所有最新版本的 Kafka，并提取大约 100-200 个指标。您还提到了 ZooKeeper，SPM 也可以为您监控它。请注意，您需要在每个节点上安装监控代理。为什么？因为您也想获得 OS 指标。