Google Colab 存储

Question

有人知道运行ning Google Colab 的存储限制吗？上传 22gb zip 文件后，我似乎运行超出 space，然后尝试解压缩它，提示 <~40gb 存储空间可用。至少这是我对 TPU 实例的经验运行。

Answer 1

是的，Colab 笔记本本地存储目前约为 40 GiB。查看确切值的一种方法（在 Python 3 中）：

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

但是：对于大量数据，本地存储不是为 TPU 提供数据的最佳方式，它没有直接连接到机器运行笔记本。相反，请考虑将您的大型数据集存储在 GCP 存储中，并从 Colab 笔记本中获取该数据。（此外，Colab 本地存储量可能会发生变化，Colab 笔记本本身将在几个小时后过期，并带走本地存储。）

看看the canonical TPU Colab notebook. At the bottom are some next steps, which include a link to Searching Shakespeare with TPUs。该笔记本中包含以下代码片段，它演示了对 Colab TPU 的 GCP 身份验证。它看起来像这样：

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''

Answer 2

目前，colab 中的本地存储量取决于所选的硬件加速器运行时类型：

# Hardware accelerator none
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

# Hardware accelerator GPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay         359G   23G  318G   7% /

# Hardware accelerator TPU
!df -h .
Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   22G   26G  46% /

即使您不需要 GPU，切换到该运行时类型也会为您提供额外的 310Gb 存储空间 space。

Google Colab 存储

Google Colab Storage

storage

google-colaboratory

google-cloud-tpu