需要在 Azure 数据仓库解决方案中加载数据
Data loading in Azure DataWarehouse _Solution required
我想以一致的方式将数据存储在 DWH 中。每周我都需要从本地 SQLDB 将数据加载到 AzureDW 中。
问题是我每周都会在 table 中获得主键。 table
的例子
我想设计成所有 4 条记录都存储在 DW 中。
我应该使用代理键还是有其他更好的方法？
如果这是分阶段的源数据，我不会添加代理键，通常您只在维度模型中创建代理键。
如果您的数据量在每次过程 运行 时呈半指数增长（不太可能），我会作为 CTAS 处理，否则我会做
插入 dbo.table
SELECT *, SYSUTCDATETIME() AS RECORD_INSERT_DATE 来自 dbo.table_external_table
所以您只需插入所有传入数据并为插入日期添加时间戳。您的 NK 和时间戳将成为您在 table.
上的唯一密钥
如果您的要求涉及轻松返回当前版本的记录，您可以使用 typeII SCD 模式为最新版本的记录设置结束日期，并为新版本的记录设置开始日期 + 活动标志.
我想以一致的方式将数据存储在 DWH 中。每周我都需要从本地 SQLDB 将数据加载到 AzureDW 中。 问题是我每周都会在 table 中获得主键。 table
的例子我想设计成所有 4 条记录都存储在 DW 中。
我应该使用代理键还是有其他更好的方法？
如果这是分阶段的源数据，我不会添加代理键，通常您只在维度模型中创建代理键。
如果您的数据量在每次过程 运行 时呈半指数增长（不太可能），我会作为 CTAS 处理，否则我会做 插入 dbo.table SELECT *, SYSUTCDATETIME() AS RECORD_INSERT_DATE 来自 dbo.table_external_table
所以您只需插入所有传入数据并为插入日期添加时间戳。您的 NK 和时间戳将成为您在 table.
上的唯一密钥如果您的要求涉及轻松返回当前版本的记录，您可以使用 typeII SCD 模式为最新版本的记录设置结束日期，并为新版本的记录设置开始日期 + 活动标志.