如何在 Azure 数据工厂中合并两个 csv 文件
how to merge two csv files in azure data factory
我想用每天更新的增量记录更新目标 csv 文件（位于 Azure Data Lake Store 中）（增量文件位于 blob 中）。如果现有记录已更新，那么我想在目标文件中更新相同的记录，或者如果增量记录是新的记录，那么我想将该记录附加到天蓝色数据湖存储中的目标 CSV 文件。我想使用 Azure 数据工厂来实现它，最好使用 ADF 数据流。
我正在尝试使用 Azure 数据工厂数据流任务来执行此操作，但我观察到可以创建新的目标文件 post 合并，但无法更新现有文件。
如果我们可以更新目标文件，请告诉我是否有任何 powershell 或任何其他方式
我们有一个示例模板，向您展示如何使用 ADF 数据流从新文件更新现有文件。文件类型为 Parquet，但也适用于 CSV。
转到“新建”>“来自模板的管道”并查找 "Parquet CRUD Operations"。您可以打开该数据流，看看它是如何完成的。
我想用每天更新的增量记录更新目标 csv 文件（位于 Azure Data Lake Store 中）（增量文件位于 blob 中）。如果现有记录已更新，那么我想在目标文件中更新相同的记录，或者如果增量记录是新的记录，那么我想将该记录附加到天蓝色数据湖存储中的目标 CSV 文件。我想使用 Azure 数据工厂来实现它，最好使用 ADF 数据流。
我正在尝试使用 Azure 数据工厂数据流任务来执行此操作，但我观察到可以创建新的目标文件 post 合并，但无法更新现有文件。
如果我们可以更新目标文件，请告诉我是否有任何 powershell 或任何其他方式
我们有一个示例模板，向您展示如何使用 ADF 数据流从新文件更新现有文件。文件类型为 Parquet，但也适用于 CSV。
转到“新建”>“来自模板的管道”并查找 "Parquet CRUD Operations"。您可以打开该数据流，看看它是如何完成的。