部署 USQL 项目

Question

我不熟悉数据湖分析和使用 USQL。

我目前正在设置数据工厂管道，它将取代现有的 SSIS 工作流。数据工厂管道基本上

将数据交易数据库提取到 ADLS
使用 USQL 转换原始实体
使用自定义 activity

问题

我设置了一个 USQL 项目，想知道是否有一种标准方法可以将它们部署到 ADLA，而不仅仅是将脚本上传到商店中的文件夹。

Answer 1

好问题！

我不确定标准方法，甚至不确定是否可以被视为最佳实践。但是我使用你提到的所有工具来执行非常相似的任务。

尝试回答您的问题：我所做的是将 U-SQL 脚本创建为逻辑 ADLA 数据库中的存储过程。在 VS USQL 项目中，每个存储过程有 1 个脚本。 ADF 活动然后调用过程名称。这为您提供了服务之间正确的断开连接级别，也意味着您不需要为 USQL 文件额外的 blob 存储。

在我的 VS 解决方案中，我通常还有一个 PowerShell 项目来帮助管理事物。特别是一个需要我所有 'usp_' U-SQL 脚本来创建一个可以部署到逻辑 ADLA 数据库的大型 DDL 样式的东西。

PowerShell 然后使用提交作业 cmdlet 为我进行部署。示例如下。

Submit-AzureRmDataLakeAnalyticsJob `
        -Name $JobName `
        -AccountName $DLAnalytics `
        –Script $USQLProcDeployAll `
        -DegreeOfParallelism $DLAnalyticsDoP

希望这能给你一个指导。我也承认这些工具仍然很新。所以对其他建议持开放态度。

干杯

部署 USQL 项目

Deploying USQL project

azure-data-factory

azure-data-lake

u-sql

问题