如何在 Airflow 中组合多个 DAG
How to combine multiple DAGs in Airflow
我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2
),类似于它如何使用 upstream/downstream 运算符来 运行有向无环图。我需要知道如何设置它,以便 Airflow 运行 DAG_1
,然后 运行 DAG_2
一旦 DAG_1
成功完成。
我希望在 Airflow dag 文件夹中的单独文件中包含 DAG_1
和 DAG_2
,然后调用 DAG_2
DAG_1
作为其 运行 开始时的前置步骤,或者有一个单独的 "main" DAG 创建并 运行s 一个 DAG,其中每个任务都是另一个 DAG 而不是任务操作员。
如果有人知道怎么做,请告诉我,我真的需要一些帮助。如果有人知道如何做到这一点,我也将接受在同一个文件中制作和连接两个单独的 DAG,但最好将链接的 DAG 放在不同的文件中。
预先感谢您的帮助。
您可以使用 TriggerDagRunOperator 将 DAG id 作为参数并触发它
看官方例子here
我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2
),类似于它如何使用 upstream/downstream 运算符来 运行有向无环图。我需要知道如何设置它,以便 Airflow 运行 DAG_1
,然后 运行 DAG_2
一旦 DAG_1
成功完成。
我希望在 Airflow dag 文件夹中的单独文件中包含 DAG_1
和 DAG_2
,然后调用 DAG_2
DAG_1
作为其 运行 开始时的前置步骤,或者有一个单独的 "main" DAG 创建并 运行s 一个 DAG,其中每个任务都是另一个 DAG 而不是任务操作员。
如果有人知道怎么做,请告诉我,我真的需要一些帮助。如果有人知道如何做到这一点,我也将接受在同一个文件中制作和连接两个单独的 DAG,但最好将链接的 DAG 放在不同的文件中。
预先感谢您的帮助。
您可以使用 TriggerDagRunOperator 将 DAG id 作为参数并触发它
看官方例子here