Airflow DAGs 文件目录树没有更新?

Airflow DAGs file directory tree is not updated?

A​​irflow 正在 Google Cloud Composer 上工作,版本是 1.10.2-composer。

我错误地将 DAG 文件 (tutorial.py) 上传到目录,就像本教程一样。py/tutorial.py.

当我删除它并再次上传时。 我从 stackdriver 日志记录中看到了错误信息。

[Errno 21] Is a directory: '/home/airflow/gcs/dags/tutorial.py'

我该如何解决?

P.S。 我必须使用 tutorial_test.py 这样的新名称上传 tutorial.py。 但是我不想这样。

您遇到此问题是因为您将“/home/airflow/gcs/dags/tutorial.py”设置为目标。但是,flag '--destination' 设置目标文件夹,而不是文件。在这种情况下,'/home/airflow/gcs/dags/tutorial.py' 是一个文件夹名称。 Composer 因此创建了一个路径 '/home/airflow/gcs/dags/tutorial.py'.

因此,请以正确的方式使用“--destination”flag

当您将文件放入文件夹“/home/airflow/gcs/dags/tutorial.py”时,此文件夹会同时在 GCS 中自动删除,因为它变空了,因此您无法再访问此文件夹。第二个命令将文件 'tutorial.py' 放入文件夹“/home/airflow/gcs/dags/”。

更多参考请参考此Public Issue Tracker