Composer/Airflow 如何在回填时自动跳过时间传感器？

Question

有人知道如何为 Airflow DAG 做回填吗？

我尝试回填 DAG 1-2 个月的数据，但是当我使用以下命令时，每次我都需要将传感器手册标记为成功。这没有任何意义。 1. 大家有好的建议吗？

gcloud composer environments run leo-stage-bi --location=europe-west1 backfill -- player_daily_balance_type_snapshot    -s 20190222      -e 20190401 -t  bq_daily_type_snapshot_malta  --reset_dagruns

Answer 1

经过简短的调查，我发现了一种跳过时间传感器的方法！

  -i, --ignore_dependencies

上游任务，运行仅匹配正则表达式的任务。只能与 task_regex

结合使用

默认：假

参考资料： https://airflow.apache.org/docs/stable/cli.html

Answer 2

如您在 reference 中所见，有一些可选参数可能对您有所帮助。您可以尝试使用标志 -m (--mark_success)

Mark jobs as succeeded without running them

Default: False

如果对你有帮助请告诉我

Composer/Airflow 如何在回填时自动跳过时间传感器？

How Composer/Airflow to skip the time-sensors automatically when we do the backfill?

airflow

airflow-scheduler

google-cloud-composer