使用参数的 Azure 数据工厂数据流表达式生成器

Question

我试图将管道参数传递给数据流 activity，同时我尝试传递我的 directory/folder 的值。由于 concat('myArchive/', $myFolderDF) 给我错误：Column operands are not allowed in literal expressions。我尝试使用此 '{$myFolderDF}'，但仍然出现错误。您能否指导我在数据流 activity.

的表达式中使用参数

JSON:

parameters{
    myFolderDF as string
}
source(allowSchemaDrift: true,
    validateSchema: false,
    ignoreNoFilesFound: false,
    format: 'csv',
    fileSystem: 'FileSource',
    folderPath: (concat('myFileArchive/',$myFolderDF)),
    fileName: (concat(lower($myFolderDF),'.csv')),
    documentForm: 'documentPerLine') ~> DFSource
DFSource sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'csv',
    fileSystem: 'FileArchive',
    folderPath: (concat('myFileArchive/',$myFolderDF)),
    partitionFileNames:[(concat($myFolderDF,toString(currentTimestamp(),'MMddyyyy'),'.csv'))],
    umask: 0022,
    preCommands: [],
    postCommands: [],
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true,
    saveOrder: 0,
    partitionBy('hash', 1)) ~> DFFileArchive

Answer 1

我在触发管道时能够正确获取它运行。请检查以下配置作为示例。

假设这与数据集参数无关并且源数据集没有显式文件路径提供。

数据流配置：

数据流参数： get_dir

通配符路径： concat('my/',$get_dir)

管道参数： pipe_param

分配给数据流参数：

get_dir: @pipeline().parameters.pipe_param

传递动态值：

原始文件位置：source / my / myArchive / mysource (1).csv

参数化：source / concat('my/',$get_dir)

动态值：myArchive/*.csv

使用参数的 Azure 数据工厂数据流表达式生成器

Azure Data Factory Data flow expression builder using parameters

azure-data-factory

azure-data-factory-2

azure-data-flow

azure-data-factory-pipeline