File To Google Cloud Storage Operator 的替代方案

Question

所以我发现 FileToGoogleCloudStorageOperator 这有助于将文件从我的本地系统移动到 Google 云端。但是是否有类似的气流操作员将整个目录移动到 Google Cloud。

Answer 1

不是官方的，但创建一个非常容易，您可以重用 https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py

中的大部分逻辑

您可以使用与上传单个文件相同的 GoogleCloudStorageHook，然后遍历目录，上传所有文件。这就是 GCS 的任何目录上传功能无论如何都会做的事情。

根据您日常需要上传的文件数量，将上传分成多个任务可能会更好。这样，如果一个上传任务失败，您就不必为所有文件重新开始上传。不过，这取决于您的用例。