在alertmanager中根据环境触发告警

Trigger alerts according to the environment in alertmanger

我的k8集群有dev、prod、qa环境,并根据可用环境创建了命名空间。每个 pod 都有一个环境标签。我已经为节点、服务、pod、PVC 创建了 grafana 仪表板和警报。警报在 alertmanager(Prometheus) 中配置。我现在面临的问题是必须根据环境触发警报。如果警报正在触发,我不知道它是从哪个环境触发的。那么可以做什么呢?

如果必须根据环境触发警报,您​​必须在您的服务、pod 或 PVC 指标中包含环境标签

将 pod 标签添加到 kubelet 指标的以下解决方案:

可以达到这个目的。

节点警报不可能,因为节点是 kubernetes 集群级资源。