基于 DataLake 中的文件副本的 Azure Synapse 管道执行

Azure Synapse Pipeline Execution based on file copy in DataLake

我想在将文件复制到数据湖中的文件夹时执行 Azure Synapse Pipeline。

我们能做到吗？我们怎样才能做到？

谢谢，帕文.

您可以使用存储事件触发器根据复制到 datalake 文件夹的文件触发管道（启动管道执行）。存储事件触发器可以根据 selected 操作开始执行管道。

您可以按照下面指定的步骤创建存储事件触发器。

假设您在 azure synapse 中有一个名为“pipeline1”的管道，您希望根据复制到 datalake 文件夹的文件执行该管道，单击触发器并 select New/Edit。
选择一个新的触发器。 Select 触发类型为存储事件，并指定在将文件复制到其中时要在其上启动触发的数据湖存储详细信息。根据您的数据湖目录结构和文件类型指定 container name、blob path begins with 和 blob path ends with。
由于在 datalake 文件夹中出现 blob 文件时需要启动管道，因此检查 Blob Created 事件。检查启动触发动作，完成创建触发器并发布它。

这些步骤允许您基于数据湖存储为管道创建存储事件触发器。一旦文件上传或复制到数据湖容器的特定目录，管道执行就会开始，您可以进行进一步的操作。您可以参考以下文档来了解更多关于事件触发器的信息。