在不依赖任何作业的情况下将作业添加到现有的 Airflow DAG

Add job to existing Airflow DAG without dependency on any job

我正在创建一个 Airflow 作业,它将 运行 作为具有 n 个作业的现有 dag 的一部分。我必须将这个新工作添加为独立工作

我目前的工作依存度如下

accountable_job >> dq_check >> dq_a1_validaton_job >> data_aggregation_job >> sync_job

我必须添加另一个独立的作业 dq_b1_validaton_job,但 dq_a1 验证后的作业将依赖于 dq_b1_validaton_job。在排序中 dq_a1_validaton_job 和 dq_b1_validaton_job 将并行但 dq_b1_validaton_job 将独立于任何作业。

您只需将其添加到 dag 即可。使用上下文管理器:

with Dag(...):
    independent_task = YourOperator()

或将 dag 作为参数传递:

your_dag = Dag(....)

independent_task = YourOperator(..., dag=your_dag)

https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#declaring-a-dag