监控动态(scale up/down)kafka集群

Monitoring of dynamic(scale up/down) kafka cluster

我们正在使用 kafka 集群,我们想监控这个集群。

目前我们的方法:

  1. 收集 jmx 指标(telegraf jolokia pluginjmxtrans
  2. 存入涌入
  3. 通过 grafana 渲染

但是我们遇到了kafka broker列表静态配置的问题。 我们只能通过 JmxtransTelegraf jolokia plugin.

配置静态列表

我们想要动态列表(示例仅配置 kafka 集群 zookeeper 连接,以便在收集指标的每次迭代中获取代理列表)用于 kafka 的案例扩展 up/down。

是否存在另一种监控动态 kafka 集群的工具?

接下来我的最终解决方案:

  1. 自定义 bash 输入插件(因为我不想用一个自定义的 go 输入插件构建自己的 telegraf,而且我现在不太了解 go 语言:))
  2. 在bash插件中zkCli用于所有kafka节点发现
  3. 下一个bash脚本post批量jolokia请求每个kafka节点,聚合并格式化到influx插件。