在数据工厂中,Azure 事件触发器是否会等到复制完整文件?
In data factory does Azure Event trigger wait till full file is copied?
假设我正在将一个 10 GB 的文件复制到一个 ADLS 位置,并且该位置正在由 Azure 事件触发器监视。事件触发器是否会等待复制完整的 10 GB 文件以触发事件或在文件开始复制后立即触发管道?如果文件一开始复制就启动管道,我们如何延迟它以便管道可以等到复制完整文件?
据我所知,根据事件触发,一旦上传了整个文件,就会触发 ADF。
ADF 触发器:
基于文档:https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger
一旦文件创建(完全上传),触发器就会触发。
根据文档:
这取决于使用哪个 API 来复制文件。
如果是 Blob REST APIs
“在这种情况下,Microsoft.Storage.BlobCreated 事件在启动 CopyBlob 操作时触发,而不是在 Block Blob 完全提交时触发。”
如果是 Azure Data Lake Storage Gen 2 REST APIs
“当客户端使用 Azure Data Lake Storage Gen2 REST 中可用的 CreateFile 和 FlushWithClose 操作时 API”。
假设我正在将一个 10 GB 的文件复制到一个 ADLS 位置,并且该位置正在由 Azure 事件触发器监视。事件触发器是否会等待复制完整的 10 GB 文件以触发事件或在文件开始复制后立即触发管道?如果文件一开始复制就启动管道,我们如何延迟它以便管道可以等到复制完整文件?
据我所知,根据事件触发,一旦上传了整个文件,就会触发 ADF。
ADF 触发器:
基于文档:https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger 一旦文件创建(完全上传),触发器就会触发。
根据文档: 这取决于使用哪个 API 来复制文件。 如果是 Blob REST APIs
“在这种情况下,Microsoft.Storage.BlobCreated 事件在启动 CopyBlob 操作时触发,而不是在 Block Blob 完全提交时触发。” 如果是 Azure Data Lake Storage Gen 2 REST APIs
“当客户端使用 Azure Data Lake Storage Gen2 REST 中可用的 CreateFile 和 FlushWithClose 操作时 API”。