从 ADF 中的 blob 存储动态加载文件

Dynamically load file from blob storage in ADF

我在 blob 存储中有多个 parquet 文件。我必须从 blob 中获取最新文件并在 ADF 中处理（复制 activity 或数据流）作为源。有没有办法实现这个。

您可以使用获取元数据 activity 列出源中存在的所有文件并过滤要在副本中使用的最新文件 activity

以下是获取最新修改文件的重现详情。

  1. 创建 2 个变量，一个存储最新文件名，第二个变量存储最后修改日期，并为其分配一个初始日期值（最小日期）。

  1. 使用 Get Metadata1，获取文件名列表。

  2. 将 Get Metadata1 的输出子项传递给 ForEach activity。

  3. 在ForEachactivity里面，再添加一个Get Metadata2得到当前项的最后修改日期(@item().name)

  1. 将 Get Metadata2 连接到 If Condition activity。添加条件以检查 Get Metdata2 输出的最后修改日期是否大于初始日期变量值。

    @greater(ticks(activity('Get Metadata2').output.lastModified),ticks(formatDateTime(variables('initial_date'))))

  1. 如果条件满足，则在true里面添加set变量activity，获取当前文件名

  1. 如果条件为假则忽略。

  2. ForEach循环结束后保存的文件名是最后修改的文件。在以后的活动中使用此变量 (file_name)。