为什么在 Cloud Composer 中会自动生成一个名为 'airflow_monitoring' 的 DAG?

Why is there a DAG named 'airflow_monitoring' automatically generated in Cloud Composer?

在 GCP Composer 上创建 Airflow 环境时,会自动创建一个名为 airflow_monitoring 的 DAG,即使删除也会恢复。

为什么?如何处理?我是否应该将此文件复制到我的 DAG 文件夹中并自行辞职以使其成为我的代码的一部分?我注意到,每次我上传我的代码时,它都会停止执行此 DAG,因为在它神奇地重新出现之前,无法在 DAG 文件夹中找到它。

我已经尝试在 DAG 文件夹中删除它,删除日志,从 UI 中删除它,同时删除所有这些等等。

airflow_monitoring DAG 是一个 per-environment 活性 prober/healthcheck,用于填充 Cloud Composer 监控指标 environment/healthy。它是您环境总体健康状况的指标,或者更具体地说,是它安排 DAG 和 运行 任务的能力。这允许您使用 Google 云监控功能,例如指标图,或在您的环境变得不健康时设置警报。

您可以在以下 GCP Metrics List, and can explore the metric in Cloud Monitoring 上找到有关该指标的更多信息:

  • 资源类型:Cloud Composer 环境
  • 指标:健康

这是一个 Composer-managed DAG,使用的环境资源非常少。理想情况下,您应该保持不变,因为它对您环境中的其他任何东西几乎没有影响 运行。