在气流中可以同时 运行 相同的 DAG 吗?
simultaneous run of same DAG is possible in airflow?
我们有一个 airflow DAG,它正在接受用户的输入并执行一些任务。我们希望 运行 相同的 DAG 同时具有来自用户的不同输入。我们找到了同步任务 运行 的多个链接,但无法获取有关同步任务 运行 的信息。因此,如果我们使用来自 cli 的两个 diff 输入触发 DAG,那么它的 运行ning 在两个实例上都很好,但只是想了解这两个实例都是 运行ning 独立的,或者它等待一个实例完成然后触发另一个?
你说的都可以做到。任务可以并行执行。
恰到好处的配置max_active_runs
wait_for_downstream and depends_on_past
DAG参数:
max_active_runs
- 活动 DAG 的最大数量 运行s
如果您只是希望 DAG 能够并行执行两个作业(两个不同的 运行 之间没有条件),则设置 max_active_runs=2
运算符参数:
wait_for_downstream
- 当设置为 true 时,任务 X 的实例将等待任务 X 的前一个实例下游的任务成功完成或在它之前被跳过 运行s
depends_on_past
- 当设置为 true 时,任务实例将 运行 顺序且仅当前一个实例已成功或已被跳过时。
我们有一个 airflow DAG,它正在接受用户的输入并执行一些任务。我们希望 运行 相同的 DAG 同时具有来自用户的不同输入。我们找到了同步任务 运行 的多个链接,但无法获取有关同步任务 运行 的信息。因此,如果我们使用来自 cli 的两个 diff 输入触发 DAG,那么它的 运行ning 在两个实例上都很好,但只是想了解这两个实例都是 运行ning 独立的,或者它等待一个实例完成然后触发另一个?
你说的都可以做到。任务可以并行执行。
恰到好处的配置max_active_runs wait_for_downstream and depends_on_past
DAG参数:
max_active_runs
- 活动 DAG 的最大数量 运行s
如果您只是希望 DAG 能够并行执行两个作业(两个不同的 运行 之间没有条件),则设置 max_active_runs=2
运算符参数:
wait_for_downstream
- 当设置为 true 时,任务 X 的实例将等待任务 X 的前一个实例下游的任务成功完成或在它之前被跳过 运行s
depends_on_past
- 当设置为 true 时,任务实例将 运行 顺序且仅当前一个实例已成功或已被跳过时。