试图将文件写入 dags 文件夹
Trying to write files into dags folder
我正在尝试创建文件夹并将文件写入 dags
文件夹,该文件夹位于 Google 云存储桶中。这使用 Airflow 使用以下 python 代码:
Path(f'/home/airflow/gcs/dags/API/config').mkdir(parents=True, exist_ok=True)
with open(file='/home/airflow/gcs/dags/API/config/config.json', mode = 'w') as out_file:
out_file.write(json_string)
没有出现错误,也没有在任何地方创建文件夹或文件。
我对实际有效的数据目录尝试了相同的方法
您正在本地写入文件,文件夹和文件仅在工作计算机上创建。
根据设计,您向 Airflow 提供 DAG 来执行操作。在 Composer 中,DAG 目录仅从 GCS 读取并复制到 Composer VM 中。如果你在上面写,你就不会写回 GCS。数据不是一回事。
如果要写入DAG目录,请在GCS中写入,不要在本地目录中写入。
我正在尝试创建文件夹并将文件写入 dags
文件夹,该文件夹位于 Google 云存储桶中。这使用 Airflow 使用以下 python 代码:
Path(f'/home/airflow/gcs/dags/API/config').mkdir(parents=True, exist_ok=True)
with open(file='/home/airflow/gcs/dags/API/config/config.json', mode = 'w') as out_file:
out_file.write(json_string)
没有出现错误,也没有在任何地方创建文件夹或文件。 我对实际有效的数据目录尝试了相同的方法
您正在本地写入文件,文件夹和文件仅在工作计算机上创建。
根据设计,您向 Airflow 提供 DAG 来执行操作。在 Composer 中,DAG 目录仅从 GCS 读取并复制到 Composer VM 中。如果你在上面写,你就不会写回 GCS。数据不是一回事。
如果要写入DAG目录,请在GCS中写入,不要在本地目录中写入。