如何使用数据工厂将数据从 Azure Blob 存储增量加载到 Azure SQL 数据库?

How to incrementally load data from Azure Blob storage to Azure SQL Database using Data Factory?

我有一个 json 文件存储在 Azure Blob 存储中,我已使用数据工厂将其加载到 Azure SQL 数据库中。 现在我想找到一种方法,以便仅将文件中的新记录加载到我的数据库中(因为文件每周左右更新一次)。有办法吗?

谢谢!

您可以使用已在 Azure 数据工厂中实现的更新插入(缓慢变化的维度类型 1)。 它将添加新记录并更新已更改的旧记录。

这是一个快速教程: https://www.youtube.com/watch?v=MzHWZ5_KMYo

我建议您使用 Dataflow activity。

在 Dataflow Activity 中,您可以选择更改行,如下图所示。

在更改行中,您可以使用 Upsert if 条件。

此处提及条件为1 == 1