在不依赖任何作业的情况下将作业添加到现有的 Airflow DAG
Add job to existing Airflow DAG without dependency on any job
我正在创建一个 Airflow 作业,它将 运行 作为具有 n 个作业的现有 dag 的一部分。我必须将这个新工作添加为独立工作
我目前的工作依存度如下
accountable_job >> dq_check >> dq_a1_validaton_job >> data_aggregation_job >> sync_job
我必须添加另一个独立的作业 dq_b1_validaton_job,但 dq_a1 验证后的作业将依赖于 dq_b1_validaton_job。在排序中 dq_a1_validaton_job 和 dq_b1_validaton_job 将并行但 dq_b1_validaton_job 将独立于任何作业。
您只需将其添加到 dag 即可。使用上下文管理器:
with Dag(...):
independent_task = YourOperator()
或将 dag 作为参数传递:
your_dag = Dag(....)
independent_task = YourOperator(..., dag=your_dag)
见https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#declaring-a-dag
我正在创建一个 Airflow 作业,它将 运行 作为具有 n 个作业的现有 dag 的一部分。我必须将这个新工作添加为独立工作
我目前的工作依存度如下
accountable_job >> dq_check >> dq_a1_validaton_job >> data_aggregation_job >> sync_job
我必须添加另一个独立的作业 dq_b1_validaton_job,但 dq_a1 验证后的作业将依赖于 dq_b1_validaton_job。在排序中 dq_a1_validaton_job 和 dq_b1_validaton_job 将并行但 dq_b1_validaton_job 将独立于任何作业。
您只需将其添加到 dag 即可。使用上下文管理器:
with Dag(...):
independent_task = YourOperator()
或将 dag 作为参数传递:
your_dag = Dag(....)
independent_task = YourOperator(..., dag=your_dag)
见https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#declaring-a-dag