气流 - 最后一个 运行 不正确
Airflow - Incorrect Last Run
我只是 运行 一个气流 DAG。当我看到气流最后一个 运行 日期时,它显示最后但也是最后一个 运行 日期。当我将鼠标悬停在显示正确日期的 "i" 图标上时,它引起了我的注意。有什么办法可以解决这个问题吗?听起来像是胡说八道,但我最终将其用于数据质量检查。
这可能是因为你的 airflow 作业启用了 catchup=True
并且过去有一个 start_date
,所以它正在回填。
Start Date 是最后一个 运行 的实时日期,而 Last 运行 是 airflow 作业的执行日期。例如,如果我用 2016-01-01 至今的数据回填时间分区 table,开始日期将是当前日期,但最后 运行 日期将是 2016-01 -01。
以后请加入您的 DAG file/code。
编辑:如果您没有启用 catchUp=True
,并且差异大约为一天(如您发送的图片所示),那么这只是由于调度程序的行为。来自docs、"The scheduler runs your job one schedule_interval AFTER the start date, at the END of the period."
如果你在一天的 schedule_interval
上 运行 一个 DAG,那么 运行 标记为 2016-01-01 将在 2016-01-01T23:59 后不久触发。换句话说,作业实例在其涵盖的时间段结束后启动。
我只是 运行 一个气流 DAG。当我看到气流最后一个 运行 日期时,它显示最后但也是最后一个 运行 日期。当我将鼠标悬停在显示正确日期的 "i" 图标上时,它引起了我的注意。有什么办法可以解决这个问题吗?听起来像是胡说八道,但我最终将其用于数据质量检查。
这可能是因为你的 airflow 作业启用了 catchup=True
并且过去有一个 start_date
,所以它正在回填。
Start Date 是最后一个 运行 的实时日期,而 Last 运行 是 airflow 作业的执行日期。例如,如果我用 2016-01-01 至今的数据回填时间分区 table,开始日期将是当前日期,但最后 运行 日期将是 2016-01 -01。
以后请加入您的 DAG file/code。
编辑:如果您没有启用 catchUp=True
,并且差异大约为一天(如您发送的图片所示),那么这只是由于调度程序的行为。来自docs、"The scheduler runs your job one schedule_interval AFTER the start date, at the END of the period."
如果你在一天的 schedule_interval
上 运行 一个 DAG,那么 运行 标记为 2016-01-01 将在 2016-01-01T23:59 后不久触发。换句话说,作业实例在其涵盖的时间段结束后启动。