创建元数据驱动的管道 - 参数化源文件

Question

我有 CSV 文件，这些文件位于 blob 存储容器的各个文件夹中。这些文件将映射到数据库中的一个table，我们将使用ADF将数据复制到数据库中。

目的是让管道元数据驱动。我们有一个包含 JSON 的文件，其中包含每个源文件和接收器的详细信息 table。

[
{
    "sourceContainer":"container1",
    "sourceFolder":"folder1",
    "sourceFile":"datafile.csv",
    "sinkTable":"staging1"
},
{
    "sourceContainer":"container1",
    "sourceFolder":"folder2",
    "sourceFile":"datafile2.csv",
    "sinkTable":"staging2"
}

]

A for each 将查看这些值，将它们放入变量中并使用它们从适当的 CSV 文件中加载适当的 table。

问题是，对于 CSV 源数据集，我无法使用用户变量（在下面的屏幕截图中用红色 x 标记的字段）参数化源数据集。

希望得到有关如何解决此问题的建议。

Answer 1

该功能绝对受支持，所以我不确定您所说的“无法参数化”是什么意思。下面是定义参数的例子：

下面是引用它们的示例：

我建议您使用“添加动态内容”link 和表达式生成器来获得正确的引用。

如果您遇到其他问题，请更详细地描述。

创建元数据驱动的管道 - 参数化源文件

creating a metadata driven pipeline - parameterizing a source file

azure-data-factory

azure-data-factory-pipeline