使用一些指标导出器 + Prometheus + Grafana 监控日志文件
Monitoring log files using some metrics exporter + Prometheus + Grafana
我需要监控非常不同的日志文件中的错误、成功状态等。我需要使用 Prometheus 获取相应的指标并在 Grafana 中显示并在其上设置一些警报。 Prometheus + Grafana 没问题我已经在 node_exporter 或 mysql_exporter 等不同的出口商中使用了很多它们。在新的 Grafana 4.x 中发出警报也非常有效。
但是我很难找到合适的导出器/程序来分析日志文件 "on fly" 并从中提取指标。
到目前为止我试过：
- mtail (https://github.com/google/mtail) - 有效，但现有版本无法轻松监控更多文件 - 通常它无法将特定 mtail 程序（分析收据）绑定到某些特定日志文件 + 我无法轻松添加日志文件名进入标签
- grok_exporter (https://github.com/fstab/grok_exporter) - 有效，但我只能提取有限的信息 + 一个实例只能监控一个日志文件，这意味着我将不得不启动更多实例，在更多端口上导出并配置在 prometheus 中全部关闭 - 这会产生太多新的故障点
- fluentd prometheus exporter (https://github.com/kazegusuri/fluent-plugin-prometheus) - 有效，但看起来我只能提取非常简单的指标，我无法对日志文件中的一行进行任何高级正则表达式分析
这里有人有真正的 运行 解决方案来使用 "some exporter" + Prometheus + Grafana 监控日志文件中的高级指标吗？或者代替导出程序，我可以使用 Prometheus 推送网关从中获取结果。谢谢
这些是当前将日志数据导入 Prometheus 的 3 个答案。
您还可以考虑获取生成日志的任何内容以直接公开 Prometheus 指标。
看看 Telegraf. It does support tailing logs using input plugins logparser and tail. To export metrics as prometheus endpoint use prometheus_client 输出插件。您也可以即时申请聚合。我发现配置多个日志文件比 grok_exporter 或 mtail
更简单
尝试 prometheus-python-exporter 并在 python 中编写您的自定义导出器，在日志文件中查找您想要的任何内容，然后公开所需的指标。有几个tutos可以帮助yoy
我需要监控非常不同的日志文件中的错误、成功状态等。我需要使用 Prometheus 获取相应的指标并在 Grafana 中显示并在其上设置一些警报。 Prometheus + Grafana 没问题我已经在 node_exporter 或 mysql_exporter 等不同的出口商中使用了很多它们。在新的 Grafana 4.x 中发出警报也非常有效。
但是我很难找到合适的导出器/程序来分析日志文件 "on fly" 并从中提取指标。
到目前为止我试过：
- mtail (https://github.com/google/mtail) - 有效，但现有版本无法轻松监控更多文件 - 通常它无法将特定 mtail 程序（分析收据）绑定到某些特定日志文件 + 我无法轻松添加日志文件名进入标签
- grok_exporter (https://github.com/fstab/grok_exporter) - 有效，但我只能提取有限的信息 + 一个实例只能监控一个日志文件，这意味着我将不得不启动更多实例，在更多端口上导出并配置在 prometheus 中全部关闭 - 这会产生太多新的故障点
- fluentd prometheus exporter (https://github.com/kazegusuri/fluent-plugin-prometheus) - 有效，但看起来我只能提取非常简单的指标，我无法对日志文件中的一行进行任何高级正则表达式分析
这里有人有真正的 运行 解决方案来使用 "some exporter" + Prometheus + Grafana 监控日志文件中的高级指标吗？或者代替导出程序，我可以使用 Prometheus 推送网关从中获取结果。谢谢
这些是当前将日志数据导入 Prometheus 的 3 个答案。
您还可以考虑获取生成日志的任何内容以直接公开 Prometheus 指标。
看看 Telegraf. It does support tailing logs using input plugins logparser and tail. To export metrics as prometheus endpoint use prometheus_client 输出插件。您也可以即时申请聚合。我发现配置多个日志文件比 grok_exporter 或 mtail
更简单尝试 prometheus-python-exporter 并在 python 中编写您的自定义导出器，在日志文件中查找您想要的任何内容，然后公开所需的指标。有几个tutos可以帮助yoy