Airflow DAGs 文件目录树没有更新?
Airflow DAGs file directory tree is not updated?
Airflow 正在 Google Cloud Composer 上工作,版本是 1.10.2-composer。
我错误地将 DAG 文件 (tutorial.py) 上传到目录,就像本教程一样。py/tutorial.py.
当我删除它并再次上传时。
我从 stackdriver 日志记录中看到了错误信息。
[Errno 21] Is a directory: '/home/airflow/gcs/dags/tutorial.py'
我该如何解决?
P.S。
我必须使用 tutorial_test.py 这样的新名称上传 tutorial.py。
但是我不想这样。
您遇到此问题是因为您将“/home/airflow/gcs/dags/tutorial.py”设置为目标。但是,flag '--destination' 设置目标文件夹,而不是文件。在这种情况下,'/home/airflow/gcs/dags/tutorial.py' 是一个文件夹名称。 Composer 因此创建了一个路径 '/home/airflow/gcs/dags/tutorial.py'.
因此,请以正确的方式使用“--destination”flag。
当您将文件放入文件夹“/home/airflow/gcs/dags/tutorial.py”时,此文件夹会同时在 GCS 中自动删除,因为它变空了,因此您无法再访问此文件夹。第二个命令将文件 'tutorial.py' 放入文件夹“/home/airflow/gcs/dags/”。
更多参考请参考此Public Issue Tracker。
Airflow 正在 Google Cloud Composer 上工作,版本是 1.10.2-composer。
我错误地将 DAG 文件 (tutorial.py) 上传到目录,就像本教程一样。py/tutorial.py.
当我删除它并再次上传时。 我从 stackdriver 日志记录中看到了错误信息。
[Errno 21] Is a directory: '/home/airflow/gcs/dags/tutorial.py'
我该如何解决?
P.S。 我必须使用 tutorial_test.py 这样的新名称上传 tutorial.py。 但是我不想这样。
您遇到此问题是因为您将“/home/airflow/gcs/dags/tutorial.py”设置为目标。但是,flag '--destination' 设置目标文件夹,而不是文件。在这种情况下,'/home/airflow/gcs/dags/tutorial.py' 是一个文件夹名称。 Composer 因此创建了一个路径 '/home/airflow/gcs/dags/tutorial.py'.
因此,请以正确的方式使用“--destination”flag。
当您将文件放入文件夹“/home/airflow/gcs/dags/tutorial.py”时,此文件夹会同时在 GCS 中自动删除,因为它变空了,因此您无法再访问此文件夹。第二个命令将文件 'tutorial.py' 放入文件夹“/home/airflow/gcs/dags/”。
更多参考请参考此Public Issue Tracker。