数据湖文件到 blob 性能不佳
data lake file to blob poor performance
我正在使用 azcopy 将本地文件上传到 blob 存储。
我正在使用命令：
azcopy copy "localpath" "destinationpath(with SAS)" --include="*.csv" --recursive=true
我也试过了
azcopy sync "localpath" "destinationpath(with SAS)" --include="*.csv"
我要上传的文件每个都超过 1GB。
当我手动将文件上传到数据湖时，1 个文件需要 40 分钟以上。如果我用 azcopy 做，每个文件需要 30 分钟以上，而且经常失败。
这么长时间正常吗？我做错了什么或者有更快的方法吗？
如您所知，azcopy 已针对更好的性能进行了优化。我看到你的代码，没有遗漏任何东西。如果是这种情况，我们无能为力（或者您可以检查一下是否是网络问题？）。
您可以尝试使用 Azure Data Factory，它提供了非常高的性能，可以将数据加载到 Data Lake Storage Gen1 的速度提高 1-GB/s。
我正在使用 azcopy 将本地文件上传到 blob 存储。
我正在使用命令：
azcopy copy "localpath" "destinationpath(with SAS)" --include="*.csv" --recursive=true
我也试过了
azcopy sync "localpath" "destinationpath(with SAS)" --include="*.csv"
我要上传的文件每个都超过 1GB。 当我手动将文件上传到数据湖时，1 个文件需要 40 分钟以上。如果我用 azcopy 做，每个文件需要 30 分钟以上，而且经常失败。
这么长时间正常吗？我做错了什么或者有更快的方法吗？
如您所知，azcopy 已针对更好的性能进行了优化。我看到你的代码，没有遗漏任何东西。如果是这种情况，我们无能为力（或者您可以检查一下是否是网络问题？）。
您可以尝试使用 Azure Data Factory，它提供了非常高的性能，可以将数据加载到 Data Lake Storage Gen1 的速度提高 1-GB/s。