Airflow Task 运行 如期延迟

Airflow Task run delay as scheduled

我正在尝试为经常性工作设置气流集群,例如每小时第 5 分钟的每小时工作 运行。作业 运行 但开始时间总是比预定时间(执行时间)晚一小时。

dag = DAG(dag_id="dag_id",
          description=d'some jobs',
          schedule_interval="5 * * * *",
          default_args=default_args,
          start_date=datetime(2019, 7, 24), catchup=True)

任务实例属性:

execution_date : 2019-08-08T16:05:00+00:00

start_date : 2019-08-08 17:05:19.007417+00:00

end_date : 2019-08-08 17:05:28.065114+00:00

调度程序在每个周期的结束时运行。这个想法是 5:05 到 6:05 的数据在 6:05 之前无法处理。

我所见过的最好的描述是在其中一位 Airflow 提交者的幻灯片上。参见幻灯片 11-13:https://drive.google.com/file/d/1DVN4HXtOC-HXvv00sEkoB90mxLDnCIKc/view