减少 GCP stackdriver 中的警报噪音

Reduce alert noise in GCP stackdriver

我们已经在我的 GCP 环境中设置了警报。基本上 GCP Stackdriver 会根据我们配置的某些参数(在基础设施级别和应用程序级别)发出警报。

问题是如果问题没有得到足够快的解决,我们会收到太多警报。例如,如果计算引擎出现故障,我们正在调查,但仍会收到警报。寻求一些帮助来减少警报噪音,以便一旦我们确认问题,警报频率应该降低,直到我们解决问题(可能每三个小时一次,而不是每 10 分钟或问题解决后每人发送一封邮件) .

将此作为答案发布以获得更好的可用性。

触发警报后,您将每 10 分钟左右收到一次通知,直到您 acknowledge the incident

当您执行此操作时,通知将停止,但事件将保持打开状态,直到您将其关闭。

您也可以 silence the incident,但是它可能并且将会关闭由触发此事件的相同条件触发的其他事件。

您还可以查看 alerting behavior 文档,因为它们在这种情况下可能很有用。