使用 Google Drive 与 gsutil 将文件上传到 GCS 的比较
Comparison of uploading files to GCS using Google Drive vs gsutil
我一直在比较如何将文件上传到云存储,一个是在浏览器中(或模拟浏览器),另一个是通过 gsutil
到 Google 云的命令行存储桶。
GoogleDrive 是否在后端使用 gsutil,或者上传器是完全定制的专有软件?有没有一种方法可以使 Google Cloud Storage 存储桶的上传速度与我通过云端硬盘达到的上传速度相似?如果不是,对于如何获得与 Google 驱动器中的上传速度相当的上传速度,将文件上传到 GCS 存储桶,您有何建议?
我不确定 GDrive 在后台使用 gsutil。
您可以使用多种优化来提高 gsutil 速度。
首先,您可以使用 perfdiag 启动小型诊断测试,这将为您提供概览和可能达到的速度。
gsutil perfdiag -o test.json gs://<your bucket name>
其次,您需要了解您的工作量(small/big 文件)并确定对区域或多区域存储桶的需求(是的,存在性能差异)tl;dr:
"Regional buckets are great for data processing since their physical distance is fairly tight, and the overhead of write consistency is low."
“另一方面,多区域存储保证了 2 个地理差异(相隔 100 英里)的副本,可以获得更好的远程延迟和可用性。
“
云图上有一些专门针对这个主题的资料,你可以在这里查看:
https://medium.com/@duhroach/google-cloud-storage-performance-4cfcec8bad72
我一直在比较如何将文件上传到云存储,一个是在浏览器中(或模拟浏览器),另一个是通过 gsutil
到 Google 云的命令行存储桶。
GoogleDrive 是否在后端使用 gsutil,或者上传器是完全定制的专有软件?有没有一种方法可以使 Google Cloud Storage 存储桶的上传速度与我通过云端硬盘达到的上传速度相似?如果不是,对于如何获得与 Google 驱动器中的上传速度相当的上传速度,将文件上传到 GCS 存储桶,您有何建议?
我不确定 GDrive 在后台使用 gsutil。 您可以使用多种优化来提高 gsutil 速度。
首先,您可以使用 perfdiag 启动小型诊断测试,这将为您提供概览和可能达到的速度。
gsutil perfdiag -o test.json gs://<your bucket name>
其次,您需要了解您的工作量(small/big 文件)并确定对区域或多区域存储桶的需求(是的,存在性能差异)tl;dr:
"Regional buckets are great for data processing since their physical distance is fairly tight, and the overhead of write consistency is low."
“另一方面,多区域存储保证了 2 个地理差异(相隔 100 英里)的副本,可以获得更好的远程延迟和可用性。 “
云图上有一些专门针对这个主题的资料,你可以在这里查看:
https://medium.com/@duhroach/google-cloud-storage-performance-4cfcec8bad72