Airflow 针对不同类型任务的不同并行度
Airflow different parallelism for different types of task
我们有某些任务需要大量资源，不能 运行 具有高并行度，而许多其他较小的任务可以 运行 32 的并行度。
我知道并行配置
执行器的并行度设置。这定义了在此气流安装上应同时 运行 的最大任务实例数
并行度 = 32
有没有一种方法可以在整个气流级别标记任务和不同任务的不同并行级别。
喜欢在默认并行度 [32] 下有比 运行 更小的任务，但在低得多的并行度下有繁重的任务 [1-4]
池（文档：https://airflow.apache.org/docs/apache-airflow/stable/concepts/pools.html）正是用于此目的：限制一组特定任务的并行度。
您可以在 Airflow UI 中使用所需数量的“插槽”创建池，并将池分配给您的任务：
my_task = BashOperator(
...,
pool="heavy_task_pool",
...,
)
我们有某些任务需要大量资源，不能 运行 具有高并行度，而许多其他较小的任务可以 运行 32 的并行度。
我知道并行配置
执行器的并行度设置。这定义了在此气流安装上应同时 运行 的最大任务实例数 并行度 = 32
有没有一种方法可以在整个气流级别标记任务和不同任务的不同并行级别。
喜欢在默认并行度 [32] 下有比 运行 更小的任务，但在低得多的并行度下有繁重的任务 [1-4]
池（文档：https://airflow.apache.org/docs/apache-airflow/stable/concepts/pools.html）正是用于此目的：限制一组特定任务的并行度。
您可以在 Airflow UI 中使用所需数量的“插槽”创建池，并将池分配给您的任务：
my_task = BashOperator(
...,
pool="heavy_task_pool",
...,
)