使用 azcopy 进行并行复制
Parallel Copy using azcopy
我使用 azcopy 定期将模型从 Azure Blob 存储复制到 Azure VM。但是当我将数据集复制到我的 VM 时，我正在使用 Azure 文件共享并使用 cp 命令将数据移动到数据磁盘中。我想利用 Azcopy 并行复制数据。我相信有一次我听说 AzCopy 并行复制数据，但我找不到该声明。可能是我听错了
我还在 Whosebug 上看到另一个 ，它讨论了 azcopy 中的并行性。答案为 azcopy 文档提供了一个 link 并谈到了 --parallel-level 但是当我点击它时，并没有像它所说的那样。
如果有人可以将我重定向到 azcopy 并行文档 link 如果它存在，那将非常有帮助。
AzCopy 默认并行复制数据，但您可以更改并行复制的文件数。
Throughput can decrease when transferring small files. You can
increase throughput by setting the AZCOPY_CONCURRENCY_VALUE
environment variable. This variable specifies the number of concurrent
requests that can occur.
If your computer has fewer than 5 CPUs, then the value of this
variable is set to 32. Otherwise, the default value is equal to 16
multiplied by the number of CPUs. The maximum default value of this
variable is 3000, but you can manually set this value higher or lower.
我使用 azcopy 定期将模型从 Azure Blob 存储复制到 Azure VM。但是当我将数据集复制到我的 VM 时，我正在使用 Azure 文件共享并使用 cp 命令将数据移动到数据磁盘中。我想利用 Azcopy 并行复制数据。我相信有一次我听说 AzCopy 并行复制数据，但我找不到该声明。可能是我听错了
我还在 Whosebug 上看到另一个
如果有人可以将我重定向到 azcopy 并行文档 link 如果它存在，那将非常有帮助。
AzCopy 默认并行复制数据，但您可以更改并行复制的文件数。
Throughput can decrease when transferring small files. You can increase throughput by setting the AZCOPY_CONCURRENCY_VALUE environment variable. This variable specifies the number of concurrent requests that can occur.
If your computer has fewer than 5 CPUs, then the value of this variable is set to 32. Otherwise, the default value is equal to 16 multiplied by the number of CPUs. The maximum default value of this variable is 3000, but you can manually set this value higher or lower.