气流 - 是否可以使用 backfill 命令一次(连续)运行 一天?

Airflow - Is it possible to run one day at a time(sequentially) using the backfill command?

基本上,我想运行回填命令整整一个月。但是有一些任务依赖于前一天的数据。据我所知,这个命令每天在同一时间 运行s。

airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31

有没有办法让回填命令一次运行一天一次(按顺序)?

干杯。

您好,您应该在默认参数

上将参数 depends_on_past 设置为 True
default_args = {
    'owner': 'whatever',
    'depends_on_past': True,
    'start_date': datetime(2017, 9, 17),
    'email': ['xxxxx'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=10),
}

将 ExternalTask​​Sensor 作为第一步:

ExternalTaskSensor(
    task_id='wait_yesterday_run',
    external_dag_id='adsquare_events',
    execution_delta=timedelta(days=1),
    execution_date_fn=None,
    dag=dag,
)