Airflow Backfill DAG 运行卡住 运行 第一个任务处于排队（灰色）状态

Question

我曾尝试在 Whosebug 上查看有关此问题的类似答案，但我的情况略有不同。

我正在通过 Airflow CLI 执行回填作业，回填的 dag 运行s 卡在 运行ning 状态，dag 中的第一个任务处于排队（灰色）状态.

调度程序似乎从未启动第一个任务。

我没有 depends_on_past=True 设置为 dag_defaults

dag_defaults = {
    "start_date": datetime.today() - timedelta(days=2),
    "on_failure_callback": on_failure_callback,
    "provide_context": True
}

我不得不手动 运行 每项任务。 :( 而不是让调度程序自动执行任务并 运行 它们。

注意：我正在 K8S 集群上通过 Airflow worker pods 执行回填 cli 命令。

有没有其他人在使用 backfill cli 命令时遇到过类似的问题？

UPDATE: I realised my backfill runs fall outside the total dag interval. I.e before the dag start_date causing a blocking schedule dependancy.

虽然您仍然可以创建 运行，但它不会自动 运行，但您可以手动 运行 每个任务。

作为解决方法，需要将 start_date 更改为我最早的回填日期之前或之时。

如果有一种方法可以覆盖 backfill cmd 或提供一个 --force 选项，可以模拟特定 dag_run 中的 start_date，而不是绑定到总间隔。

Answer 1

UPDATE: I realised my backfill runs fall outside the total dag interval. I.e before the dag start_date causing a blocking schedule dependancy.

虽然您仍然可以创建 运行，但它不会自动 运行，但您可以手动 运行 每个任务。

作为解决方法，需要将 start_date 更改为我最早的回填日期之前或之时。

如果有一种方法可以覆盖 backfill cmd 或提供一个 --force 选项来模拟特定 dag_run 中的 start_date，而不是绑定到总间隔。