如何处理 Data Vault 模型中已删除的记录(来自源)?
How to handle deleted records (from source) in the Data Vault model?
我们正在构建一个 Data Vault (2.0)
模型来捕获 SalesForce 数据。与许多其他来源一样,来源中的记录被软删除。当我们将数据采购到数据模型时,我们不想过滤任何数据,也不想捕获目标系统中已删除的记录。搜索了处理 Data Vault 模型中已删除记录的最佳实践,但没有成功。有人可以在这里点灯吗?考虑到模型的未来扩展和要遵循的最佳设计实践,我们是否应该在 Hub
或 Satellite
中添加 IsDeleted
标志。此外,此处的任何参考 material 链接都会有很大帮助。谢谢。
在 DV2.0 规范中,有一个“记录源跟踪卫星”可以完全满足您的需求,跟踪每个源的插入、更新和删除记录(第 143 页,如果您有这本书) .
基本上,这是一个带有散列键、加载日期、记录源和状态的卫星 (I/U/D)。每次在源系统中添加、更新或删除记录时,您都会插入一条记录。
在 DV1.0 中,有一个“最后一次看到”字段,但由于性能问题已被删除 (https://danlinstedt.com/allposts/datavaultcat/end_of_updates/)
我们正在构建一个 Data Vault (2.0)
模型来捕获 SalesForce 数据。与许多其他来源一样,来源中的记录被软删除。当我们将数据采购到数据模型时,我们不想过滤任何数据,也不想捕获目标系统中已删除的记录。搜索了处理 Data Vault 模型中已删除记录的最佳实践,但没有成功。有人可以在这里点灯吗?考虑到模型的未来扩展和要遵循的最佳设计实践,我们是否应该在 Hub
或 Satellite
中添加 IsDeleted
标志。此外,此处的任何参考 material 链接都会有很大帮助。谢谢。
在 DV2.0 规范中,有一个“记录源跟踪卫星”可以完全满足您的需求,跟踪每个源的插入、更新和删除记录(第 143 页,如果您有这本书) .
基本上,这是一个带有散列键、加载日期、记录源和状态的卫星 (I/U/D)。每次在源系统中添加、更新或删除记录时,您都会插入一条记录。
在 DV1.0 中,有一个“最后一次看到”字段,但由于性能问题已被删除 (https://danlinstedt.com/allposts/datavaultcat/end_of_updates/)