当 DAG 的 start_date 是过去时会发生什么?
What happens when the start_date for a DAG is in the past?
以前不明白指定一个DAG有什么用start_date
。我读过有关追赶和回填的信息,但我仍然不明白。我想在什么情况下指定过去的 start_date?
对于预定的运行,airflow scheduler
在运行ning[之前等待间隔时间段完成 你的DAG。
例如,假设您想要 运行 您的 dag 每月 并将其安排为 0 3 11 * *
,这意味着 运行 您的每月 11 号凌晨 3 点。
现在,假设您已在 2021 年 1 月 10 日 部署了 dag,那么您预计它会在第二天 运行 部署。但实际上,气流要到下个月才会触发你的 DAG。 2021 年 2 月 11 日。因此,气流将等待大约一个月才能真正触发你的 DAG,该 DAG 应该在 2021 年 1 月 11 日 运行。
在这种情况下,当您部署 DAG 时,您可以将 start_date
提及为 2020 年 12 月 10 日,以便实际日期(2021 年 1 月 11 日)来了,调度程序将标记为间隔时间段的完成并开始触发你的 DAG。
更多参考,您可以阅读:https://www.astronomer.io/guides/scheduling-tasks
以前不明白指定一个DAG有什么用start_date
。我读过有关追赶和回填的信息,但我仍然不明白。我想在什么情况下指定过去的 start_date?
对于预定的运行,airflow scheduler
在运行ning[之前等待间隔时间段完成 你的DAG。
例如,假设您想要 运行 您的 dag 每月 并将其安排为 0 3 11 * *
,这意味着 运行 您的每月 11 号凌晨 3 点。
现在,假设您已在 2021 年 1 月 10 日 部署了 dag,那么您预计它会在第二天 运行 部署。但实际上,气流要到下个月才会触发你的 DAG。 2021 年 2 月 11 日。因此,气流将等待大约一个月才能真正触发你的 DAG,该 DAG 应该在 2021 年 1 月 11 日 运行。
在这种情况下,当您部署 DAG 时,您可以将 start_date
提及为 2020 年 12 月 10 日,以便实际日期(2021 年 1 月 11 日)来了,调度程序将标记为间隔时间段的完成并开始触发你的 DAG。
更多参考,您可以阅读:https://www.astronomer.io/guides/scheduling-tasks