如何在 Airflow 中组合多个 DAG

How to combine multiple DAGs in Airflow

我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2),类似于它如何使用 upstream/downstream 运算符来 运行有向无环图。我需要知道如何设置它,以便 Airflow 运行 DAG_1,然后 运行 DAG_2 一旦 DAG_1 成功完成。

我希望在 Airflow dag 文件夹中的单独文件中包含 DAG_1DAG_2,然后调用 DAG_2 DAG_1 作为其 运行 开始时的前置步骤,或者有一个单独的 "main" DAG 创建并 运行s 一个 DAG,其中每个任务都是另一个 DAG 而不是任务操作员。

如果有人知道怎么做,请告诉我,我真的需要一些帮助。如果有人知道如何做到这一点,我也将接受在同一个文件中制作和连接两个单独的 DAG,但最好将链接的 DAG 放在不同的文件中。

预先感谢您的帮助。

您可以使用 TriggerDagRunOperator 将 DAG id 作为参数并触发它

看官方例子here