检测 Azure blob 中的新文件并将该条目插入(调用 sp proc)到 azure sql

Detecting new files in Azure blob and insert (call sp proc) that entry to azure sql

如果唯一的工作是检测 blob 容器中的新文件更改,什么是完成此操作的最佳方法,Azure Function 或 ADF 管道,逻辑应用程序(最后我们调用 sp_proc 插入如果记录不存在,则进入table)。如果由于某种原因发生故障,我们需要一些内置日志记录,以便在一天结束时如果sql连接失败,则不会丢失任何文件左右,审计需要细粒度/可查询等来检测这一点。

我建议结合使用 BLOB 容器 + ServiceBus + Azure Function + SQL。

可以,

  • 对于每个创建的新 BLOB,在 ServiceBus 队列中生成一条新消息
  • 使用 ServiceBus 的队列触发器创建 Azure 函数
  • 让 Azure 函数将条目插入 SQL table

这里的主要优点是,如果由于任何网络、中断或代码问题导致 Azure Function 无法插入 SQL table 条目,ServiceBus 消息上的原始消息将不会被删除在尝试配置的重试之前,您还可以使用死信队列选项来处理传送失败。

您可以在存储帐户的“事件”选项卡中配置 ServiceBus 队列事件订阅。