监控动态(scale up/down)kafka集群
Monitoring of dynamic(scale up/down) kafka cluster
我们正在使用 kafka 集群,我们想监控这个集群。
目前我们的方法:
- 收集 jmx 指标(
telegraf jolokia plugin
或 jmxtrans
)
- 存入涌入
- 通过 grafana 渲染
但是我们遇到了kafka broker列表静态配置的问题。
我们只能通过 Jmxtrans
或 Telegraf jolokia plugin
.
配置静态列表
我们想要动态列表(示例仅配置 kafka 集群 zookeeper 连接,以便在收集指标的每次迭代中获取代理列表)用于 kafka 的案例扩展 up/down。
是否存在另一种监控动态 kafka 集群的工具?
接下来我的最终解决方案:
- 自定义 bash 输入插件(因为我不想用一个自定义的 go 输入插件构建自己的 telegraf,而且我现在不太了解 go 语言:))
- 在bash插件中
zkCli
用于所有kafka节点发现
- 下一个bash脚本post批量
jolokia
请求每个kafka节点,聚合并格式化到influx插件。
我们正在使用 kafka 集群,我们想监控这个集群。
目前我们的方法:
- 收集 jmx 指标(
telegraf jolokia plugin
或jmxtrans
) - 存入涌入
- 通过 grafana 渲染
但是我们遇到了kafka broker列表静态配置的问题。
我们只能通过 Jmxtrans
或 Telegraf jolokia plugin
.
我们想要动态列表(示例仅配置 kafka 集群 zookeeper 连接,以便在收集指标的每次迭代中获取代理列表)用于 kafka 的案例扩展 up/down。
是否存在另一种监控动态 kafka 集群的工具?
接下来我的最终解决方案:
- 自定义 bash 输入插件(因为我不想用一个自定义的 go 输入插件构建自己的 telegraf,而且我现在不太了解 go 语言:))
- 在bash插件中
zkCli
用于所有kafka节点发现 - 下一个bash脚本post批量
jolokia
请求每个kafka节点,聚合并格式化到influx插件。