我如何在 "Copy data" 步骤后将文件名/路径传递给 ADF 中的 Azure Functions

How can i pass the file name / path after "Copy data" step to Azure Functions in ADF

在当前管道中有一个“复制数据”步骤,它将文件从 sftp 服务器复制到数据湖。 第二步是使用 azure 函数处理新复制的数据。 因此,最好将文件名或文件路径传递给 azure 函数。这样它就可以从数据湖中读取/打开文件,并最终将处理后的数据存储在 Postgresql 中(在 vnet 中)。

例如,如何将文件名或文件路径嵌入正文中?

还有一个选项是在 blob 存储/数据湖上使用触发器。我更愿意传递路径或文件名。欢迎提出建议和想法。

由于您将文件复制到数据湖,您可以利用存储事件触发器来获取创建的文件名和路径。然后,您可以将存储它们的参数或变量传递给 POST body JSON.

中的 Azure 函数

示例:

  1. 创建触发器,可选择设置 blob 路径以字段开头或结尾以过滤掉特定文件。

  1. 对于之前创建的参数,分别使用@triggerBody().fileName@triggerBody().folderPath获取并存储file_name和file_path。

  1. 在 Azure Functions 中传递参数 POST body