我们如何复制 Azure Data Lake Store 文件夹中的任何文件
How we can copy any file within Azure Data Lake Store folders
我们已经 Move-AzureRmDataLakeStoreItem 可以在 Azure 数据湖内的文件夹之间移动文件。我正在寻找的是在不影响原始文件的情况下复制数据湖中的文件。
我知道的可能性是-
- 使用
USQL 到 EXTRACT 来自源文件的数据，然后 OUTPUT 到目标文件 - 但我正在尝试复制所有类型的文件（.gz、.txt、.info ,.exe,.msi)，我不确定 USQL 是否可以帮助我处理 .gz 或 .exe 或 .msi 文件
- 使用
Data Factory复制数据from/toData Lake store
所以，我的问题是，我们是否还有其他任何可以用来在 Azure Data Lake Store 中执行文件复制的东西？
您还有其他几个选择，
- 运行 HDI 集群上的 distcp - 类似于此处提供的说明。 https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
- 如果您复制的数据量有限（比如 10-100 GB），请使用 adlcopy - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob
请问这样够了吗？或者您想要 Azure Data Lake Store 通过其 REST API 原生支持的东西吗？
谢谢，
萨钦谢斯
Azure Data Lake 项目经理。
我们已经 Move-AzureRmDataLakeStoreItem 可以在 Azure 数据湖内的文件夹之间移动文件。我正在寻找的是在不影响原始文件的情况下复制数据湖中的文件。
我知道的可能性是-
- 使用
USQL到EXTRACT来自源文件的数据，然后OUTPUT到目标文件 - 但我正在尝试复制所有类型的文件（.gz、.txt、.info ,.exe,.msi)，我不确定USQL是否可以帮助我处理 .gz 或 .exe 或 .msi 文件 - 使用
Data Factory复制数据from/toData Lake store
所以，我的问题是，我们是否还有其他任何可以用来在 Azure Data Lake Store 中执行文件复制的东西？
您还有其他几个选择，
- 运行 HDI 集群上的 distcp - 类似于此处提供的说明。 https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
- 如果您复制的数据量有限（比如 10-100 GB），请使用 adlcopy - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob
请问这样够了吗？或者您想要 Azure Data Lake Store 通过其 REST API 原生支持的东西吗？
谢谢， 萨钦谢斯 Azure Data Lake 项目经理。