Airflow Task 运行 如期延迟
Airflow Task run delay as scheduled
我正在尝试为经常性工作设置气流集群,例如每小时第 5 分钟的每小时工作 运行。作业 运行 但开始时间总是比预定时间(执行时间)晚一小时。
dag = DAG(dag_id="dag_id",
description=d'some jobs',
schedule_interval="5 * * * *",
default_args=default_args,
start_date=datetime(2019, 7, 24), catchup=True)
任务实例属性:
execution_date : 2019-08-08T16:05:00+00:00
start_date : 2019-08-08 17:05:19.007417+00:00
end_date : 2019-08-08 17:05:28.065114+00:00
调度程序在每个周期的结束时运行。这个想法是 5:05 到 6:05 的数据在 6:05 之前无法处理。
我所见过的最好的描述是在其中一位 Airflow 提交者的幻灯片上。参见幻灯片 11-13:https://drive.google.com/file/d/1DVN4HXtOC-HXvv00sEkoB90mxLDnCIKc/view
我正在尝试为经常性工作设置气流集群,例如每小时第 5 分钟的每小时工作 运行。作业 运行 但开始时间总是比预定时间(执行时间)晚一小时。
dag = DAG(dag_id="dag_id",
description=d'some jobs',
schedule_interval="5 * * * *",
default_args=default_args,
start_date=datetime(2019, 7, 24), catchup=True)
任务实例属性:
execution_date : 2019-08-08T16:05:00+00:00
start_date : 2019-08-08 17:05:19.007417+00:00
end_date : 2019-08-08 17:05:28.065114+00:00
调度程序在每个周期的结束时运行。这个想法是 5:05 到 6:05 的数据在 6:05 之前无法处理。
我所见过的最好的描述是在其中一位 Airflow 提交者的幻灯片上。参见幻灯片 11-13:https://drive.google.com/file/d/1DVN4HXtOC-HXvv00sEkoB90mxLDnCIKc/view