从气流中的 dag 子文件夹导入文件

Question

我正在编写一个 python 脚本来计算某些东西。这就是脚本与 dags 文件夹分开的原因。在那个脚本中，我必须导入一个文件。但我没有成功，因为它出错 FileNotFoundError.

这是我的目录：

dags/
- my_dag.py
  sub_folder/
  - __init__.py
  - my_functions.py
    meta/
    - file.csv

my_functions.py 包含我的 DAG 中需要的计算脚本。它必须读取位于 meta 文件夹中的 file.csv。

在my_functions.py中，我写道：

file_df = pd.read_csv('meta/file.csv')

但是找不到文件

Answer 1

使用 AIRFLOW_HOME 环境变量并提供完整路径。

import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')

import file from dag subfolder in airflow