Prometheus 根据批处理作业的非周期性指标发出警报
Prometheus alerts based on non-periodic metrics from batch jobs
我有一个 CronJob,它每 20 分钟运行一次,仅收集构建持续时间超过特定值的 Jenkins 多分支作业上的活动构建,并将构建持续时间作为值的这些指标发布到 Prometheus Pushgateway。因此,如果构建完成,则不会推送此指标。我使用以下 Prometheus 配置设置了警报。
- alert: BuildDurationExceeded
expr: jenkins_build_duration > 7200
annotations:
title: 'Build duration is too long at {{ $labels.instance }}'
description: 'Build time of job {{ $labels.job }} on {{ $labels.instance }} exceeded 2h.'
labels:
severity: 'high'
下面是 Prometheus 中存在的一个指标值
jenkins_build_duration{branch="repo/branch_name",build_number="5",instance="https://jenkins-instance.com/",jenkins_url="https://jenkins-instance.com/job/repo/job/branch_name/5/",job="jenkins_metrics_job",job_name="repo"} 10000
使用此配置,一旦创建警报,它将永远保留并且不会被删除。如果给定作业的指标不是周期性的,我该如何处理这个用例,并在指标不再可用时删除警报?
我们通过使用 Prometheus python client 库 API delete_from_gateway.
明确删除不再相关的指标来解决此问题
我有一个 CronJob,它每 20 分钟运行一次,仅收集构建持续时间超过特定值的 Jenkins 多分支作业上的活动构建,并将构建持续时间作为值的这些指标发布到 Prometheus Pushgateway。因此,如果构建完成,则不会推送此指标。我使用以下 Prometheus 配置设置了警报。
- alert: BuildDurationExceeded
expr: jenkins_build_duration > 7200
annotations:
title: 'Build duration is too long at {{ $labels.instance }}'
description: 'Build time of job {{ $labels.job }} on {{ $labels.instance }} exceeded 2h.'
labels:
severity: 'high'
下面是 Prometheus 中存在的一个指标值
jenkins_build_duration{branch="repo/branch_name",build_number="5",instance="https://jenkins-instance.com/",jenkins_url="https://jenkins-instance.com/job/repo/job/branch_name/5/",job="jenkins_metrics_job",job_name="repo"} 10000
使用此配置,一旦创建警报,它将永远保留并且不会被删除。如果给定作业的指标不是周期性的,我该如何处理这个用例,并在指标不再可用时删除警报?
我们通过使用 Prometheus python client 库 API delete_from_gateway.
明确删除不再相关的指标来解决此问题