气流：PythonOperator python_callable 中的外部 python

Question

我想导入一些 python 文件作为气流的依赖项，并在 PythonOperator 中使用 python_callable 中的函数。我尝试将依赖项 python 文件放在 dags 文件夹中，但似乎不起作用。我假设 DAG 在执行之前被移动到其他文件夹。帮助赞赏！！

Answer 1

了解您的环境变量 "AIRFLOW_HOME"。如果未声明，则默认指向您的主目录。在气流中，Python 脚本通常放置在 "AIRFLOW_HOME"/airflow/dags 您可以将 Python 脚本及其依赖项放在那里，但我强烈建议为依赖项创建和打包并将其沿气流安装在 Python 环境中，避免 dag 文件夹中不必要的文件混乱。