如何使用 start_date 和 End_date 安排气流作业?
How to schedule the airflow job with start_date and End_date?
我正在尝试安排每天动态 运行 的工作,间隔为 3 小时,从 13:45 开始,在 14:30 下午结束。
我的代码如下:
Test = datetime.now()
current_date = datetime.now()
default_args = {
'owner': 'abc',
'depends_on_past': False,
'start_date': datetime(Test.year, Test.month,Test.day, 13, 45),
'retries': 1,
'retry_delay': timedelta(minutes=5),
'queue': 'bash_queue',
'end_date': datetime(Test.year, Test.month,Test.day,14,30),
}
dag = DAG('CSVDataFile', default_args=default_args, schedule_interval=timedelta(minutes=5))
无法 运行 与 start_date 和 end_date ,但它 运行s 在正常的 5 分钟间隔内,
请帮忙解决这个问题
如果您使用的是 Airflow 1.8 以上版本,请根据更新日志提供固定 start_time:https://github.com/apache/incubator-airflow/blob/master/UPDATING.md#less-forgiving-scheduler-on-dynamic-start_date
另外,请尝试确保它在 UTC 下。
Run your entire Airflow infrastructure in UTC. Airflow was developed at Airbnb, where every system runs on UTC (GMT)
我正在尝试安排每天动态 运行 的工作,间隔为 3 小时,从 13:45 开始,在 14:30 下午结束。 我的代码如下:
Test = datetime.now()
current_date = datetime.now()
default_args = {
'owner': 'abc',
'depends_on_past': False,
'start_date': datetime(Test.year, Test.month,Test.day, 13, 45),
'retries': 1,
'retry_delay': timedelta(minutes=5),
'queue': 'bash_queue',
'end_date': datetime(Test.year, Test.month,Test.day,14,30),
}
dag = DAG('CSVDataFile', default_args=default_args, schedule_interval=timedelta(minutes=5))
无法 运行 与 start_date 和 end_date ,但它 运行s 在正常的 5 分钟间隔内, 请帮忙解决这个问题
如果您使用的是 Airflow 1.8 以上版本,请根据更新日志提供固定 start_time:https://github.com/apache/incubator-airflow/blob/master/UPDATING.md#less-forgiving-scheduler-on-dynamic-start_date
另外,请尝试确保它在 UTC 下。
Run your entire Airflow infrastructure in UTC. Airflow was developed at Airbnb, where every system runs on UTC (GMT)