当我尝试使用依赖项部署 ADF 项目时出错
an error when i try deploy ADF project with dependencies
当我尝试将 ADF 项目从 visual studio 部署到 Azure 时,出现错误:
21.02.2017 13:03:32- Publishing Project 'MyProj.DataFactory'....
21.02.2017 13:03:32- Validating 10 json files
21.02.2017 13:03:37- Publishing Project 'MyProj.DataFactory' to Data Factory 'MyProjDataFactory'
21.02.2017 13:03:37- Starting upload of Dependency D:\Sources\MyProjDataFactory\Dependencies\ParseMyData.usql
依赖项是 Azure Data Lake Analytics U-SQL 脚本。
azure 中的依赖存储在哪里?
更新:
当我尝试编排 U-SQL 存储过程而不是脚本时,visual studio 验证器向我发送构建错误:
这里有几个选项。
1) 将 USQL 文件存储在 Azure Blob 存储中。在这种情况下,您将需要 Azure 数据工厂中的链接服务来生成 blob。然后手动上传文件或将文件添加到数据工厂的 Visual Studio 项目依赖项中。不幸的是,这将意味着 USQL 在 ADF 项目中变成静态的,并且不会以任何方式链接到您的 ADL 项目,所以要小心。
2) 最简单的方法就是直接在ADF 中内联USQL 代码JSON。这再次意味着您需要从 ADL 项目中手动刷新代码。
3) 我的首选方法...将 USQL 创建为 Azure Data Lake Analytics 服务中的存储过程。然后使用 [database].[schema].[procname] 在 JSON 中引用 proc。您还可以将参数从 ADF 传递到 proc。例如时间片。这还假设您已经将 ADL 设置为 ADF 中的链接服务。
希望对您有所帮助。
我有一个博客 post 关于第三个选项和传递参数,如果你感兴趣的话:http://www.purplefrogsystems.com/paul/2017/02/passing-parameters-to-u-sql-from-azure-data-factory/
谢谢
当我尝试将 ADF 项目从 visual studio 部署到 Azure 时,出现错误:
21.02.2017 13:03:32- Publishing Project 'MyProj.DataFactory'....
21.02.2017 13:03:32- Validating 10 json files
21.02.2017 13:03:37- Publishing Project 'MyProj.DataFactory' to Data Factory 'MyProjDataFactory'
21.02.2017 13:03:37- Starting upload of Dependency D:\Sources\MyProjDataFactory\Dependencies\ParseMyData.usql
依赖项是 Azure Data Lake Analytics U-SQL 脚本。
azure 中的依赖存储在哪里?
更新:
当我尝试编排 U-SQL 存储过程而不是脚本时,visual studio 验证器向我发送构建错误:
这里有几个选项。
1) 将 USQL 文件存储在 Azure Blob 存储中。在这种情况下,您将需要 Azure 数据工厂中的链接服务来生成 blob。然后手动上传文件或将文件添加到数据工厂的 Visual Studio 项目依赖项中。不幸的是,这将意味着 USQL 在 ADF 项目中变成静态的,并且不会以任何方式链接到您的 ADL 项目,所以要小心。
2) 最简单的方法就是直接在ADF 中内联USQL 代码JSON。这再次意味着您需要从 ADL 项目中手动刷新代码。
3) 我的首选方法...将 USQL 创建为 Azure Data Lake Analytics 服务中的存储过程。然后使用 [database].[schema].[procname] 在 JSON 中引用 proc。您还可以将参数从 ADF 传递到 proc。例如时间片。这还假设您已经将 ADL 设置为 ADF 中的链接服务。
希望对您有所帮助。
我有一个博客 post 关于第三个选项和传递参数,如果你感兴趣的话:http://www.purplefrogsystems.com/paul/2017/02/passing-parameters-to-u-sql-from-azure-data-factory/
谢谢