我如何在 "Copy data" 步骤后将文件名/路径传递给 ADF 中的 Azure Functions
How can i pass the file name / path after "Copy data" step to Azure Functions in ADF
在当前管道中有一个“复制数据”步骤,它将文件从 sftp 服务器复制到数据湖。
第二步是使用 azure 函数处理新复制的数据。
因此,最好将文件名或文件路径传递给 azure 函数。这样它就可以从数据湖中读取/打开文件,并最终将处理后的数据存储在 Postgresql 中(在 vnet 中)。
例如,如何将文件名或文件路径嵌入正文中?
还有一个选项是在 blob 存储/数据湖上使用触发器。我更愿意传递路径或文件名。欢迎提出建议和想法。
由于您将文件复制到数据湖,您可以利用存储事件触发器来获取创建的文件名和路径。然后,您可以将存储它们的参数或变量传递给 POST body JSON.
中的 Azure 函数
示例:
- 创建触发器,可选择设置 blob 路径以字段开头或结尾以过滤掉特定文件。
- 对于之前创建的参数,分别使用
@triggerBody().fileName
和@triggerBody().folderPath
获取并存储file_name和file_path。
- 在 Azure Functions 中传递参数 POST body
在当前管道中有一个“复制数据”步骤,它将文件从 sftp 服务器复制到数据湖。 第二步是使用 azure 函数处理新复制的数据。 因此,最好将文件名或文件路径传递给 azure 函数。这样它就可以从数据湖中读取/打开文件,并最终将处理后的数据存储在 Postgresql 中(在 vnet 中)。
还有一个选项是在 blob 存储/数据湖上使用触发器。我更愿意传递路径或文件名。欢迎提出建议和想法。
由于您将文件复制到数据湖,您可以利用存储事件触发器来获取创建的文件名和路径。然后,您可以将存储它们的参数或变量传递给 POST body JSON.
中的 Azure 函数示例:
- 创建触发器,可选择设置 blob 路径以字段开头或结尾以过滤掉特定文件。
- 对于之前创建的参数,分别使用
@triggerBody().fileName
和@triggerBody().folderPath
获取并存储file_name和file_path。
- 在 Azure Functions 中传递参数 POST body