max_active_runs 不限制 AWS 托管 Airflow 中的 dag 运行

Question

我正在使用 AWS 托管气流来编排数据管道。管道中的所有 dag 运行都是从 lambda 函数手动触发的。我希望 Airflow 在任何给定时间执行一次 dag。我正在使用 max_active_runs 和 concurrency 来控制它，但由于某种原因它不起作用。当两个 dag 运行并行执行时，两个 dag 运行都被执行，而不是一个被执行而另一个被排队。

气流版本：2.0.2

Dag 初始化：

with DAG('trigger_data_vault',
         catchup=False,
         default_args=default_args,
         schedule_interval=None,
         concurrency=1,
         max_active_runs=1
         ) as dag:

气流达格运行:

Answer 1

这是Airflow本身的一个bug https://github.com/apache/airflow/issues/9975

max_active_runs 不限制 AWS 托管 Airflow 中的 dag 运行

max_active_runs not limiting dag runs in AWS managed Airflow

amazon-web-services

airflow

mwaa