如何调度不同参数的DAG
How to schedule DAG with different parameters
我有一个场景,我必须根据调度标准调度具有不同参数的 Airflow DAG。
For instance, I've to:
Schedule DAG on Monday and Tuesday with the variable "source" as "process_usa"
Schedule DAG every Friday with the variable "source" as "process_ca"
Schedule DAG on Tuesday, Wednesday and Sunday with the variable "source" as "process_ind"
知道如何根据时间表使用不同的参数安排 DAG。
据我所知,没有直接的方法。但是你基本上可以将 PythonOperator
作为第一个任务(或者如果你不想打扰实际的 dag,也可以将你的 dag 包装在另一个 dag 中)并且你应该能够处理函数中的计划检查。
我有一个场景,我必须根据调度标准调度具有不同参数的 Airflow DAG。
For instance, I've to:
Schedule DAG on Monday and Tuesday with the variable "source" as "process_usa"
Schedule DAG every Friday with the variable "source" as "process_ca"
Schedule DAG on Tuesday, Wednesday and Sunday with the variable "source" as "process_ind"
知道如何根据时间表使用不同的参数安排 DAG。
据我所知,没有直接的方法。但是你基本上可以将 PythonOperator
作为第一个任务(或者如果你不想打扰实际的 dag,也可以将你的 dag 包装在另一个 dag 中)并且你应该能够处理函数中的计划检查。