使用 powershell 将项目从一个资源组复制到 Azure 数据湖存储中的另一个资源组

Question

我只想将数据从开发环境复制到 Azure 数据湖存储中的生产环境。 没有QA..

这些是 .CSV 文件，环境只不过是不同的资源组。 我尝试使用命令

复制类似资源组中的数据

Move-AzureRmDataLakeStoreItem -AccountName "xyz" -path "/Product_S
ales_Data.csv" -destination "/mynewdirectory

效果很好，但是，我希望数据移动发生在两个不同的 资源组 。

我遇到的可能的解决方案 是使用 Export 命令将文件下载到本地计算机，然后使用导入命令并将它们上传到不同的资源组。

Import-AzureRmDataLakeStoreItem
Export-AzureRmDataLakeStoreItem

使用 PowerShell 的原因是在不同环境中自动导入 files/copying 它们的过程，这只不过是使用 PowerShell 自动化整个部署过程。

上面提到的解决方案可能会帮助我处理这个过程，但我正在寻找不需要本地计算机或 VM 的更好的解决方案。

Answer 1

您确实有多种选择，以下所有选项都可以实现您想要实现的目标。请记住，您需要检查每个的限制并权​​衡成本。例如，Azure 函数有执行时间限制（默认最长 5 分钟）和本地存储限制。

1. Azure Logic Apps（从配置中拖拽）
2. Azure Data Factory（使用数据湖内衬服务）
3. Azure 函数（使用 Data Lake REST API）
4. 您可以使用 Azure Automation 和 PowerShell 来自动化您当前的方法。
5. 使用ADLCopy在湖泊（和其他商店）之间复制

选择哪个可以是自以为是和主观的。