使用 Azure 数据工厂在源中选择当前月份的文件夹
Selecting the current month folder in source using Azure data Factory
我希望我的 Azure 管道始终 select 我的源副本 activity 容器中的当前月份文件夹,并且不想每个月手动将文件夹更改为新的月份,例如:
您可以看到该文件夹指向本月,但是当我们输入 2021 年 1 月时,该文件夹必须自动指向 2021 年 1 月以及新月份文件夹中的所有内容。
有没有办法使用动态内容实现此目的?
我试过这个字符串,但它似乎不起作用:
@concat(pipeline().parameters.ExecutionFolder, '/',formatDateTime(utcnow(), 'yyyy'), '/',formatDateTime(utcnow(), 'MM' )
此致
我已经创建了一个测试并且运行良好。我正在使用 Azure 数据湖 gen2 作为文件存储。
这是我的文件结构:
我已经为 link 容器创建了一个源数据集。
用默认值stderr
声明一个参数。
在源设置处。我在 select Wildcard file path
选项中输入 @concat(pipeline().parameters.ExecutionFolder, '/',formatDateTime(utcnow(), 'yyyy'), '/',formatDateTime(utcnow(), 'MM'))
。路径的结尾是通配符 *
。
我运行调试后,这个路径下的所有文件都被复制了。
我希望我的 Azure 管道始终 select 我的源副本 activity 容器中的当前月份文件夹,并且不想每个月手动将文件夹更改为新的月份,例如:
您可以看到该文件夹指向本月,但是当我们输入 2021 年 1 月时,该文件夹必须自动指向 2021 年 1 月以及新月份文件夹中的所有内容。
有没有办法使用动态内容实现此目的?
我试过这个字符串,但它似乎不起作用:
@concat(pipeline().parameters.ExecutionFolder, '/',formatDateTime(utcnow(), 'yyyy'), '/',formatDateTime(utcnow(), 'MM' )
此致
我已经创建了一个测试并且运行良好。我正在使用 Azure 数据湖 gen2 作为文件存储。
这是我的文件结构:
我已经为 link 容器创建了一个源数据集。
用默认值
stderr
声明一个参数。在源设置处。我在 select
Wildcard file path
选项中输入@concat(pipeline().parameters.ExecutionFolder, '/',formatDateTime(utcnow(), 'yyyy'), '/',formatDateTime(utcnow(), 'MM'))
。路径的结尾是通配符*
。我运行调试后,这个路径下的所有文件都被复制了。