Azure 数据工厂:如何将 U-SQL 变量导出到管道中的下一个框?
Azure Data Factory: How does export of U-SQL variables to next box in a pipeline work?
我的 Azure 数据工厂中有一个管道,
U-SQL --> ForEach --> Web
..流程设置。
我的 U-SQL 最终将对单列执行 "select",我想为单列中的每个选定行调用 API。
我可以那样做吗?
如果是,我如何将保存 U-SQL 脚本中选定查询输出的变量输出到 Azure 数据工厂?
(因此 ForEach 可以将其作为列表提取并将每个条目发送到 Web 框,Web 框调用 API 并获取我需要的数据)
现在,我的替代方法是使用一个 U-SQL 框来选择列并将其导出到 ADLS 上的 /Temp,然后使用一个大的 Azure Batch C# 框来读取文件并手动执行循环行并为每一行运行 API 调用。我只是希望有一种更漂亮的方式,更模块化的 ADF 风格的方式来做同样的事情。
U-SQL 脚本没有 return 数据,因此您走在正确的道路上。 Azure Batch 增加了另一层你可能不需要的复杂性。 ADF Lookup Activity 可以读取 Blob 存储和 ADLS Gen 1,因此您的管道可以执行以下操作:
- U-SQL Activity 将列输出到 blob。
- 查找 Activity 读取 blob。
- Foreach Activity 遍历查找结果。
- -> 内部 Web Activity 调用 API.
我的 Azure 数据工厂中有一个管道,
U-SQL --> ForEach --> Web
..流程设置。
我的 U-SQL 最终将对单列执行 "select",我想为单列中的每个选定行调用 API。
我可以那样做吗?
如果是,我如何将保存 U-SQL 脚本中选定查询输出的变量输出到 Azure 数据工厂?
(因此 ForEach 可以将其作为列表提取并将每个条目发送到 Web 框,Web 框调用 API 并获取我需要的数据)
现在,我的替代方法是使用一个 U-SQL 框来选择列并将其导出到 ADLS 上的 /Temp,然后使用一个大的 Azure Batch C# 框来读取文件并手动执行循环行并为每一行运行 API 调用。我只是希望有一种更漂亮的方式,更模块化的 ADF 风格的方式来做同样的事情。
U-SQL 脚本没有 return 数据,因此您走在正确的道路上。 Azure Batch 增加了另一层你可能不需要的复杂性。 ADF Lookup Activity 可以读取 Blob 存储和 ADLS Gen 1,因此您的管道可以执行以下操作:
- U-SQL Activity 将列输出到 blob。
- 查找 Activity 读取 blob。
- Foreach Activity 遍历查找结果。
- -> 内部 Web Activity 调用 API.