Python 个具有不同 conda 环境的任务和 DAG
Python tasks and DAGs with different conda environments
假设我在 AirFlow 中的大部分 DAG 和任务都应该 运行 Python 同一台机器上的代码 作为 AirFlow 服务器。
我可以让不同的DAG使用不同的conda环境吗？如果是这样，我应该怎么做？例如，我可以为此使用 Python 运算符 吗？或者这会限制我使用 相同的 conda 环境，我曾经 install AirFlow.
更一般地说，where/how我应该理想地为每个 DAG 或任务激活所需的 conda 环境吗？
Python 即 运行 Airflow Worker 代码，其环境将用于执行代码。
您可以做的是为不同的工作人员设置单独的命名队列用于单独的执行环境 ], 这样只有特定的机器或一组机器才会执行某个DAG。
假设我在 AirFlow 中的大部分 DAG 和任务都应该 运行 Python 同一台机器上的代码 作为 AirFlow 服务器。
我可以让不同的DAG使用不同的conda环境吗？如果是这样，我应该怎么做？例如，我可以为此使用 Python 运算符 吗？或者这会限制我使用 相同的 conda 环境，我曾经 install AirFlow.
更一般地说，where/how我应该理想地为每个 DAG 或任务激活所需的 conda 环境吗？
Python 即 运行 Airflow Worker 代码，其环境将用于执行代码。
您可以做的是为不同的工作人员设置单独的命名队列用于单独的执行环境 ], 这样只有特定的机器或一组机器才会执行某个DAG。