何时将 Airflow 的执行器从 LocalExecutor 升级到 CeleryExecutor？

Question

我目前 运行 几个使用 LocalExecutor 的 Airflow DAG，它运行良好。我的服务器有很多资源。我即将为一个更大的项目添加一个新的 DAG，我正在考虑从 LocalExecutor 切换到 CeleryExecutor。

我的问题是，有哪些迹象表明我应该切换到 CeleryExecutor？ 我是否应该查看特定的性能指标以了解何时需要开始扩展？

Answer 1

如果您想要 运行 少量并发任务，那么根据您的调度需要，这些任务可以 运行 一台服务器，LocalExecutor 应该足够了。当您觉得需要在多个服务器上分配作业时，您应该考虑迁移到 CeleryExecutor。