数据集市的完全加载策略是否有任何缺点......?
are there any downsides to a full load-strategy for datamarts...?
...除了性能影响?
在我们的情况下,数据量将是可监督的,复杂性可能不会。
背景:
我经历过一个数据集市每天都满载的项目。
这简化了 ETL,因为不需要进行增量处理。出于同样的原因,性能也是可以接受的。但是我不确定这种情况是否总是可用,是否有缺点,例如当最终用户告诉我们数据是 'wrong' 自 4 天以来 - 很难追溯。
感谢您的意见
根据业务需求,这是一个完全可以接受的策略。
您将失去的一件事是显示缓慢变化维度的历史的能力。如果这对您的业务不重要,请不要担心。
在 Ajilius,我们有一位高级时装行业的客户每小时重新加载他们的数据仓库。这是因为需要显示其产品规划周期的近实时可视化,这是季节性的,任何数据都可以随时更改,并且没有长期历史要求。
更常见的情况是源 DBMS 中没有更改数据捕获功能。在这种情况下,您经常会看到完全重新加载事实和维度。事实不太可能 - 您通常有一个日期或时间戳来管理提取 - 但完整维度重新加载经常发生。
...除了性能影响?
在我们的情况下,数据量将是可监督的,复杂性可能不会。
背景:
我经历过一个数据集市每天都满载的项目。
这简化了 ETL,因为不需要进行增量处理。出于同样的原因,性能也是可以接受的。但是我不确定这种情况是否总是可用,是否有缺点,例如当最终用户告诉我们数据是 'wrong' 自 4 天以来 - 很难追溯。
感谢您的意见
根据业务需求,这是一个完全可以接受的策略。
您将失去的一件事是显示缓慢变化维度的历史的能力。如果这对您的业务不重要,请不要担心。
在 Ajilius,我们有一位高级时装行业的客户每小时重新加载他们的数据仓库。这是因为需要显示其产品规划周期的近实时可视化,这是季节性的,任何数据都可以随时更改,并且没有长期历史要求。
更常见的情况是源 DBMS 中没有更改数据捕获功能。在这种情况下,您经常会看到完全重新加载事实和维度。事实不太可能 - 您通常有一个日期或时间戳来管理提取 - 但完整维度重新加载经常发生。