商业智能阶段的加载方法

loading method for the stage in business intelligence

晚安, 将原点传递到商业智能中的舞台基础时的查询加载方法是总计 或总计+增量,

我正在考虑删除所有数据并重新加载它,但如果它是一个非常大的数据库并且有很多记录将不是最佳选择。好的做法有什么建议?

我会感谢你的意见,

非常感谢,

I'm thinking of deleting all the data and reloading it, but if it were a very large database and many records would not be optimal. What do good practices suggest?

视情况而定。

许多公司更喜欢Delete-T运行分类模式,因为它很容易实现,而且只有在某些情况下数据量不是问题已验证(硬件、DBA..)

增量加载(或 Up-Sert 模式) 通常用于使两个系统之间的数据保持同步。它们用于将源数据重复加载到目标中的情况,例如每晚或全天。

增量数据加载的好处: 它们通常 运行 相当快,因为​​它们接触的数据更少。假设没有瓶颈,移动和转换数据的时间与接触的数据量成正比。如果您触及一半的数据,运行 时间通常会以类似的比例减少。

增量数据加载的缺点: 可维护性:满载时,如果出现错误,您可以重新 运行 整个加载,而无需在清理/准备过程中做很多其他事情。对于增量加载,文件通常需要按顺序加载。因此,如果您的一批有问题,其他人会排在后面,直到您更正为止。

TRUNCATING 然后 INSERTING 是两个操作,而 UPDATEing 是一个操作,使得 TRUNCATE 和 INSERT 花费(理论上)更多时间。

还有易用性因素。如果先截断再插入,则必须手动跟踪每个列值。如果你更新,你只需要知道你想改变什么。