解压未能在 Google Colab 中完成

Question

所以我尝试训练自动编码器模型，但在 Google Drive 中提取大型 zipfile 和 rarfile 时遇到困难。它是一个包含 500 个图像目录的 3GB zip 文件和一个包含 170 万张图像的 5GB rar 文件。

我尝试在 Colab 中运行这段代码，它在 6 小时后完成了我的 3 GB 压缩文件的提取。

!unzip -q drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/syn_train_3.zip -d drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/

但是当我检查时，它只在我的 google 驱动器中创建了 500 个目录中的 86 个。为什么会发生这种情况以及如何继续而不重新提取它。关于将我的 5GB rarfile 提取到 google 驱动器有什么想法吗？

任何帮助都是一种祝福:)

Answer 1

正如@BobSmith 所说，我首先将所有数据集移动到 google colab 的本地磁盘，然后使用 :

提取所有数据

!unzip -u -q /content/syn_train_3.zip

对于 rar 使用 unrar

!unrar e real_train_500_2.rar train_dir

事实证明提取速度更快。然后我将数据集拆分为 .npy 文件并再次将其保存到驱动器中。

我发现 Google Colab 使用 Google 虚拟云端硬盘 就像 Backup and Sync 在您的桌面.等待数据集在 Colab 和 Drive 之间同步会很痛苦。

小心，不要让 Google Colab 中的 "/drive/My Drive" 欺骗你它已经保存到 Google 驱动器，它需要时间来同步！

解压未能在 Google Colab 中完成

Unzip failed to finish in Google Colab

python

unzip

dataset

unrar

google-colaboratory