是否可以在不从 Google Cloud Storage 压缩到 Google Colab 的情况下复制文件夹?
Is that possible to copy a folder without zipping from Google Cloud Storage to Google Colab?
Colab 不喜欢使用这样的简单副本:
!gsutil cp gs://Bucket/Folder_to_be_copied Destination_colab
我应该添加 -r 吗?
将存储桶安装到 colab 让您更轻松。您可以使用常规 linux 命令代替 gsutil 命令。这些是在 colab 中安装桶的步骤。
from google.colab import auth
auth.authenticate_user()
一旦你运行这个,就会生成一个link,你可以点击它并完成登录。
!echo "deb http://packages.cloud.google.com/apt gcsfuse-bionic main" > /etc/apt/sources.list.d/gcsfuse.list
!curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
!apt -qq update
!apt -qq install gcsfuse
使用它在 colab 上安装 gcsfuse。 Cloud Storage FUSE 是一个开源 FUSE 适配器,允许您将 Cloud Storage 存储桶作为文件系统安装在 Colab、Linux 或 macOS 系统上。
!mkdir folderOnColab
!gcsfuse folderOnBucket/content/folderOnColab
使用它来挂载目录。
您可以使用此文档进一步阅读。 https://cloud.google.com/storage/docs/gcs-fuse
回答您的问题,GSUtil 可用于复制整个目录而不压缩其内容。你的命令看起来不错。我想知道您命令中的 Destination_colab 部分是什么。
Colab 不喜欢使用这样的简单副本:
!gsutil cp gs://Bucket/Folder_to_be_copied Destination_colab
我应该添加 -r 吗?
将存储桶安装到 colab 让您更轻松。您可以使用常规 linux 命令代替 gsutil 命令。这些是在 colab 中安装桶的步骤。
from google.colab import auth
auth.authenticate_user()
一旦你运行这个,就会生成一个link,你可以点击它并完成登录。
!echo "deb http://packages.cloud.google.com/apt gcsfuse-bionic main" > /etc/apt/sources.list.d/gcsfuse.list
!curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
!apt -qq update
!apt -qq install gcsfuse
使用它在 colab 上安装 gcsfuse。 Cloud Storage FUSE 是一个开源 FUSE 适配器,允许您将 Cloud Storage 存储桶作为文件系统安装在 Colab、Linux 或 macOS 系统上。
!mkdir folderOnColab
!gcsfuse folderOnBucket/content/folderOnColab
使用它来挂载目录。
您可以使用此文档进一步阅读。 https://cloud.google.com/storage/docs/gcs-fuse
回答您的问题,GSUtil 可用于复制整个目录而不压缩其内容。你的命令看起来不错。我想知道您命令中的 Destination_colab 部分是什么。