如何在不使用 Dataflows 和 Databricks 或任何其他转换工具的情况下使用 csv 文件格式 trim Azure 数据工厂源中的数据

How to trim data in Azure Data Factory source with csv file format without using Dataflows and Databricks or any other transformation tool

在源 csv 文件中,数据包含空格。如何在不使用任何转换工具而仅使用 Azure 数据工厂的情况下删除它们。我在副本 activity 上尝试了“For each”activity,但是 For each @items 是 JSON 数组,字符串函数不适用于它。此外,数据工厂不支持自定义函数和表达式。有没有办法从源中或在复制到接收器的过程中删除空格?源和接收器是“Azure 文件”。

实现此目的的最有效方法是暂时将数据暂存在 Azure SQL 或 Cosmos DB 中,然后 trim 每列使用显式 SELECT 语句作为源随后的复制 activity 将数据移动到接收器文件。

如果不是所有的 csv 数据都包含空格,正如我对 DF 的了解和根据我的经验,仅在复制处于活动状态时不可能实现数据转换!使用数据流或其他工具非常容易。

无法仅使用或直接使用 ADF 来实现此目的。

HTH.