Azure 数据工厂,用于创建新文件夹的 utcNow() 动态函数
Azure Data Factory, utcNow() dynamic function used to create new folder
我正在使用复制数据 activity 将数据发送到 Azure Data Lake Storage Gen2。为此,我必须每天创建一个新文件夹,其末尾有当前时间戳。所以今天我的管道在存储资源管理器中的正确路径中启动,我应该看到:
Folder_name_2021-11-02
我不关心格式,我只需要日期。在 'path'('Sink' 复制数据部分 activity)我写道:
@parent_folder/folder_name_utcNow()
但是我收到以下错误:
@parent_folder/folder_name_utcNow() 无效:位置“13”处的字符串字符“/”不是预期的。
您需要以正确的格式创建字符串并将其放在正确的位置。这是一个示例,其中我使用 concat
将多个字符串与 formatDateTime
连接起来,以将 utcNow
的输出转换为我可以在文件名中使用的字符串格式。我在 Sink 输出数据集的 文件路径 属性 中使用此动态内容。
注意我在我的格式字符串中使用正斜杠确保我得到数据湖层次结构。如果您只想要一个包含日期的文件,请将它们替换为下划线或完全删除它们:
@concat('raw/ball/', formatDateTime(utcNow(), 'yyyy/MM/dd/HH/mm/'))
输出数据集:
你可能想要这样的东西:
@concat('raw/parent_folder/folder_name_/', formatDateTime(utcNow(), 'yyyyMMdd'))
虽然按照我原来的例子使用日期文件夹更常见。
我正在使用复制数据 activity 将数据发送到 Azure Data Lake Storage Gen2。为此,我必须每天创建一个新文件夹,其末尾有当前时间戳。所以今天我的管道在存储资源管理器中的正确路径中启动,我应该看到:
Folder_name_2021-11-02
我不关心格式,我只需要日期。在 'path'('Sink' 复制数据部分 activity)我写道:
@parent_folder/folder_name_utcNow()
但是我收到以下错误: @parent_folder/folder_name_utcNow() 无效:位置“13”处的字符串字符“/”不是预期的。
您需要以正确的格式创建字符串并将其放在正确的位置。这是一个示例,其中我使用 concat
将多个字符串与 formatDateTime
连接起来,以将 utcNow
的输出转换为我可以在文件名中使用的字符串格式。我在 Sink 输出数据集的 文件路径 属性 中使用此动态内容。
注意我在我的格式字符串中使用正斜杠确保我得到数据湖层次结构。如果您只想要一个包含日期的文件,请将它们替换为下划线或完全删除它们:
@concat('raw/ball/', formatDateTime(utcNow(), 'yyyy/MM/dd/HH/mm/'))
输出数据集:
你可能想要这样的东西:
@concat('raw/parent_folder/folder_name_/', formatDateTime(utcNow(), 'yyyyMMdd'))
虽然按照我原来的例子使用日期文件夹更常见。