从永久磁盘到 Google 存储桶的同步速度很慢
Syncing is slow from persistent Disk to Google Bucket
我们在本地存储中有大约 11TB 的图像，并且已将其复制到 Google Cloud Bucket。我们需要增量同步所有图像，即仅更新文件。目前我们正在使用以下 gsutil 命令同步文件。
gsutil -m rsync -r -C /mnt/Test/ gs://test_images/test-H/
我们面临的问题是复制大约需要 6 天时间，大部分时间用于扫描磁盘。请让我知道是否有任何方法可以复制至少 24 小时的更新数据。
要提高传输速度，这里有一些提示：
- 使用离您的虚拟机最近的区域存储
- 使用至少有 8 个 vCPU 的 VM 来最大化带宽，例如 described in quota
Depends on the machine type of the VM:
All shared-core machine types are limited to 1 Gbps.
2 Gbps per vCPU, up to 32 Gbps per VM for machine types that use the Skylake or later CPU platforms with 16 or more vCPUs. This egress rate is also available for ultramem machine types.
2 Gbps per vCPU, up to 16 Gbps per VM for all other machine types with eight or more vCPUs.
我们已将 VM 实例的大小增加到 N1-Standard-4，因为它将在 GCP 网络上提供更多 CPU 功率和网络性能。我们在 stackdriver 中注意到，服务器有时会达到 100% CPU 利用率，并且由于计算大小而被限制在 GCP 网络传输允许的最大速度，我们还在同一台服务器上安装了 bucket 并执行了脚本.下面是我们用来挂载和同步文件的命令。
下面是用于验证 google 存储桶的命令。
gcloud auth application-default login
使用以下命令挂载磁盘。
gcsfuse --implicit-dirs Bucketname 挂载点
使用 rsync 命令同步文件。
我们在本地存储中有大约 11TB 的图像，并且已将其复制到 Google Cloud Bucket。我们需要增量同步所有图像，即仅更新文件。目前我们正在使用以下 gsutil 命令同步文件。
gsutil -m rsync -r -C /mnt/Test/ gs://test_images/test-H/
我们面临的问题是复制大约需要 6 天时间，大部分时间用于扫描磁盘。请让我知道是否有任何方法可以复制至少 24 小时的更新数据。
要提高传输速度，这里有一些提示：
- 使用离您的虚拟机最近的区域存储
- 使用至少有 8 个 vCPU 的 VM 来最大化带宽，例如 described in quota
Depends on the machine type of the VM:
All shared-core machine types are limited to 1 Gbps.
2 Gbps per vCPU, up to 32 Gbps per VM for machine types that use the Skylake or later CPU platforms with 16 or more vCPUs. This egress rate is also available for ultramem machine types.
2 Gbps per vCPU, up to 16 Gbps per VM for all other machine types with eight or more vCPUs.
我们已将 VM 实例的大小增加到 N1-Standard-4，因为它将在 GCP 网络上提供更多 CPU 功率和网络性能。我们在 stackdriver 中注意到，服务器有时会达到 100% CPU 利用率，并且由于计算大小而被限制在 GCP 网络传输允许的最大速度，我们还在同一台服务器上安装了 bucket 并执行了脚本.下面是我们用来挂载和同步文件的命令。
下面是用于验证 google 存储桶的命令。
gcloud auth application-default login
使用以下命令挂载磁盘。
gcsfuse --implicit-dirs Bucketname 挂载点
使用 rsync 命令同步文件。