在 Azure 数据工厂管道的 for-each activity 中使用映射数据流
Using mapping data flows within for-each activity of azure data-factory pipeline
场景:我有 SQL DB CDC 网络更改进入 csv 文件。在管道中,csv 文件中的每一行都需要检查更新、插入和删除,并在我的仓库数据库中进行一些更改。
管道:
映射数据流:
问题:
如何在数据流中使用 foreach 中的 item() 并从 csv 文件中获取该记录并进行处理。我在数据流的源步骤中没有看到任何 field/option。
这里不用ForEach。数据流可以从您的 CDC 源文件中读取每一行,您可以将适当的插入、更新、合并、删除操作作为 Alter Row 转换中的策略应用。
首先,您可以在数据流中添加一个参数:
然后跳出数据流,点击数据流,用管道表达式设置数据流参数:
然后您可以将 Foreach item()
设置为数据流参数:
现在,您可以在数据流中使用 foreach 的 item() 并从 csv 文件中获取该记录并进行处理。
希望对您有所帮助。
场景:我有 SQL DB CDC 网络更改进入 csv 文件。在管道中,csv 文件中的每一行都需要检查更新、插入和删除,并在我的仓库数据库中进行一些更改。
管道:
映射数据流:
问题:
如何在数据流中使用 foreach 中的 item() 并从 csv 文件中获取该记录并进行处理。我在数据流的源步骤中没有看到任何 field/option。
这里不用ForEach。数据流可以从您的 CDC 源文件中读取每一行,您可以将适当的插入、更新、合并、删除操作作为 Alter Row 转换中的策略应用。
首先,您可以在数据流中添加一个参数:
然后跳出数据流,点击数据流,用管道表达式设置数据流参数:
然后您可以将 Foreach item()
设置为数据流参数:
现在,您可以在数据流中使用 foreach 的 item() 并从 csv 文件中获取该记录并进行处理。
希望对您有所帮助。