有没有办法限制 Apache Airflow 的追赶间隔

Question

在 Apache Airflow 中，如果我们将 DAG 的追赶设置为 True，它将安排自 start_date 以来未进行的所有运行。因此，如果我关闭 DAG 并在 1 年后打开它，它将安排大量运行。我想避免这种情况。那么有什么办法可以设置一个特定的追赶时间间隔呢？例如，仅追赶当前时间过去 1 个月内的运行。非常感谢！

Answer 1

DAG 有 start_date 但它们也有可选参数 end_date。

您应该为您的 DAG 设置 end_date。

DAG(
    dag_id='my_dag',
    ...,
    catchup=True,
    start_date=datetime(2021, 1, 1),
    end_date=datetime(2022, 2, 1),
)

有没有办法限制 Apache Airflow 的追赶间隔

Is there a way to limit Apache Airflow catchup interval

python

airflow

airflow-scheduler