使用 Google Drive 与 gsutil 将文件上传到 GCS 的比较

Comparison of uploading files to GCS using Google Drive vs gsutil

我一直在比较如何将文件上传到云存储,一个是在浏览器中(或模拟浏览器),另一个是通过 gsutil 到 Google 云的命令行存储桶。

GoogleDrive 是否在后端使用 gsutil,或者上传器是完全定制的专有软件?有没有一种方法可以使 Google Cloud Storage 存储桶的上传速度与我通过云端硬盘达到的上传速度相似?如果不是,对于如何获得与 Google 驱动器中的上传速度相当的上传速度,将文件上传到 GCS 存储桶,您有何建议?

我不确定 GDrive 在后台使用 gsutil。 您可以使用多种优化来提高 gsutil 速度。

首先,您可以使用 perfdiag 启动小型诊断测试,这将为您提供概览和可能达到的速度。

gsutil perfdiag -o test.json gs://<your bucket name>

其次,您需要了解您的工作量(small/big 文件)并确定对区域或多区域存储桶的需求(是的,存在性能差异)tl;dr:

"Regional buckets are great for data processing since their physical distance is fairly tight, and the overhead of write consistency is low."

“另一方面,多区域存储保证了 2 个地理差异(相隔 100 英里)的副本,可以获得更好的远程延迟和可用性。 “

云图上有一些专门针对这个主题的资料,你可以在这里查看:

https://medium.com/google-cloud/google-cloud-storage-what-bucket-class-for-the-best-performance-5c847ac8f9f2

https://medium.com/google-cloud/google-cloud-storage-large-object-upload-speeds-7339751eaa24?source=user_profile---------12----------------

https://medium.com/@duhroach/optimizing-google-cloud-storage-small-file-upload-performance-ad26530201dc

https://medium.com/@duhroach/google-cloud-storage-performance-4cfcec8bad72

https://cloud.google.com/storage/docs/best-practices