如何将数据从 Azure 数据湖移动到 windows 虚拟机

How to move data from azure data lake to windows virtual machine

我需要调查将文件从 Azure Data Lake Store 文件夹移动到 Azure windows 虚拟机。

只是想知道我的选择是什么 - 我查看了 Azcopy,它看起来可能有效 - 尽管我可能需要使用数据工厂将数据转移到 blob 存储中。我不确定 Azcopy 是否能够从数据湖加载数据。

从这里得到灵感 https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/move-sql-server-virtual-machine

Where should my data be for BCP? While it is not required, having files containing source data located on the same machine as the target SQL Server allows for faster transfers (network speed vs local disk IO speed). You can move the flat files containing data to the machine where SQL Server is installed using various file copying tools such as AZCopy, Azure Storage Explorer or windows copy/paste via Remote Desktop Protocol (RDP).

编辑: - 据此,Azcopy 可以通过 AzCopy 转到文件共享并将 VM 映射到那里。

是否可以使用虚拟机作为接收器进行文件复制 activity - 如果可以,我需要网关吗?

编辑:看起来可以复制到虚拟机,但需要网关。 How to copy data to VM from blob storage?

谢谢, 蒂姆

您可以使用 Azure CLI 2.0 和 Azure Power Shell 将文件下载到您的 Windows VM。

请看这个official document

您需要先在您的 VM 上安装 Azure CLi 2.0,您可以下载 msi 安装程序文件并直接安装,请参阅此 link。使用以下命令将文件下载到本地 VM。

az dls fs download --account mydatalakestore --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

您也可以使用 Azure Power Shell 来做到这一点。更多相关信息,请参考这篇link.