如何使用 google-cloud 客户端将大于 32MB 的文件上传到 GCS？

Question

我最近开始使用 google-cloud client，我做了这个小例子（为了清楚起见，我有 omitted/changed 个东西）：

<form id="testform" method="post" enctype="multipart/form-data">
  <p>
    <div>
      <label for="fotos">Some file</label>
    </div>
    <div>
      <input type="file" name="testfile">
    </div>
  </p>
  <input type="submit" value="Submit">
</form>

from google.cloud import storage

class MyHandler(BaseHandler):
    def get(self):
        self.render("test.html")

    def post(self):
        file = self.request.POST["testfile"]
        filename = file.filename # + TimeStamp

        bucket = storage.Client().get_bucket(self.get_bucket_name())
        blob = bucket.blob(filename)

        blob.upload_from_string(data=file.file.read(),
                                content_type=file.type)

        self.write(blob.public_url)

此代码适用于 32MB 以下的任何文件，但它无法处理更大的文件，因为它们通过应用程序而不是直接进入 GCS。我看到 solutions 使用 Blobstore API，但那些已经过时了，Blobstore 甚至不再用于存储数据（尽管 Blobstore API 仍然可以使用）。

所以我想知道，有没有办法使用 google-cloud 客户端来解决这个问题？我还没有在 docs.

中看到创建上传 url 的方法

Answer 1

客户端应直接上传到 GCS。来自 GAE 的单个连接不能传输超过 32 MB。

这对您来说应该不是问题，因为您已经在使用 HTML 表单。 https://cloud.google.com/storage/docs/xml-api/post-object

您可能必须将存储桶设置为可公开访问，具体取决于您的应用所需的访问权限。否则，您必须在后端生成并预先发送到前端的 PUT 请求中指定 GoogleAccessId。

上面链接的页面末尾有一个小表单上传示例。

最后，我个人推荐使用 AJAX 来使用 REST API https://cloud.google.com/storage/docs/json_api/v1/how-tos/upload 上传您的文件，这将帮助您更轻松地处理错误、重定向和成功。

如何使用 google-cloud 客户端将大于 32MB 的文件上传到 GCS？

How can I upload a file larger than 32MB to GCS using the google-cloud client?

python

google-app-engine

google-cloud-storage

google-cloud-python