根据列的存在拆分数据因子管道

Question

我正在创建一个管道以将一系列 csvs 提取到 Azure SQL 数据库

CSV 来自一个名为 SystmOne 的医疗软件，CSV 是 完整 数据集或 delta 数据集。它们的模式的唯一区别是存在一个附加列：RemovedData.

此列的存在将需要管道中的额外步骤（使用 RemovedData == true 从数据库中删除任何行）。

在 ADF 或（带有数据流预览的 ADF）中是否可以查询文件中是否存在列并根据结果拆分管道？

我无法控制文件的初始输出。

Answer 1

您可以使用 getMetadataActivty columnCount 属性 检查源数据集中的列数，然后使用 If Activity 执行您想要的操作。

IF activity 中的表达式：@equals(activity('YourGet Metadata').output.columnCount,numberOfColumns)

然后根据正确或错误选择具有适当架构的数据集。