Azcopy 用于数据移动的最佳替代方案是什么?

Any best alternative for Azcopy for data movement?

我有 100 TB 的数据要从 S3 移动到 blob 存储。有没有 Azcopy 的最佳替代品?因为 Azcopy 使用高带宽并且 CPU 使用率很高。我不想使用它。在 Azcopy v10 中,应用所需参数后仍然会出现这些问题。有人可以在这方面帮助我吗,我对其进行了研发但没有找到任何替代品。

我同意@S RATH。

对于大数据移动,Data Factory 是 Azcopy 的最佳选择。它具有更好的复制性能:

数据工厂支持 Amazon S3 和 Blob 存储作为连接器。

启用复制后,您可以创建 Amazon S3 作为源数据集,将 Blob 存储创建为接收器数据集。

参考这些教程:

  1. 使用 Azure Data 从 Amazon Simple Storage Service 复制数据 Factory:本文概述了如何从 Amazon Simple Storage Service (Amazon S3) 复制数据。要了解 Azure 数据工厂,请阅读介绍性文章。
  2. 使用 Azure 数据复制和转换 Azure Blob 存储中的数据 Factory:本文概述了如何使用 Azure 数据工厂中的 Copy activity 将数据从 Azure Blob 存储复制到 Azure Blob 存储。它还描述了如何使用数据流 activity 来转换 Azure Blob 存储中的数据。要了解 Azure 数据工厂,请阅读介绍性文章。

Data Factory 也提供了很多提高数据复制性能的方法,ref: Copy activity performance and scalability guide

我认为它会帮助您节省很多时间,众所周知,时间就是金钱。