启用 'slice download' 后 gsutil 性能下降
gsutil performance downgraded when 'slice download' enabled
我正在尝试从 GCS 下载一个 2G tarball 到集群运行 中的docker 容器
禁用'slice download'时下载速度可以达到10M-15M/s，但启用'slice download'后下载速度下降到6M/s，请问是什么原因？对于这种情况，我将 parallel_thread_count 和 parallel_process_count 设置为 2。 parallel_thread_count 和 parallel_process_count 我已经尝试过其他值，与单线程模式相比，它只会导致性能下降。
根据这是 Windows 还是 Linux 实例，运行 docker 容器有 CPU 限制，因此您可以通过增加 CPU 来提高性能。但请注意，gsutil 根据网络上限限制连接。
您可以像这样分解切片以实现 best performance：
$ gsutil -o 'GSUtil:parallel_thread_count=1' -o 'GSUtil:sliced_object_download_max_components=8' cp gs://bukket/fileSRC.dat ./localDST.bin
截至目前，gsutil 未在 Windows 个实例上执行切片对象下载是一个已知问题。有一个开放的Issue Tracker。
我正在尝试从 GCS 下载一个 2G tarball 到集群运行 中的docker 容器
禁用'slice download'时下载速度可以达到10M-15M/s，但启用'slice download'后下载速度下降到6M/s，请问是什么原因？对于这种情况，我将 parallel_thread_count 和 parallel_process_count 设置为 2。 parallel_thread_count 和 parallel_process_count 我已经尝试过其他值，与单线程模式相比，它只会导致性能下降。
根据这是 Windows 还是 Linux 实例，运行 docker 容器有 CPU 限制，因此您可以通过增加 CPU 来提高性能。但请注意，gsutil 根据网络上限限制连接。
您可以像这样分解切片以实现 best performance：
$ gsutil -o 'GSUtil:parallel_thread_count=1' -o 'GSUtil:sliced_object_download_max_components=8' cp gs://bukket/fileSRC.dat ./localDST.bin
截至目前，gsutil 未在 Windows 个实例上执行切片对象下载是一个已知问题。有一个开放的Issue Tracker。