设计数据仓库 DWH 的最佳方式
Best way to design Data WareHouse DWH
我对创建数据仓库有疑问。
我们的系统每天生成超过 5000 万条记录，我对这些记录做了一些预处理，然后将它们加载到数据库中的 table。
现在你应该看到问题是：单个 table 的大小和你如何管理它（在大约 ~15 天的负载后 ~50M record/day）我需要保留 60 天前的记录。
现在我的问题是：设计我的数据仓库的最佳方式是：
- 每天或每周使用不同的table。
- 或使用多个分区的单个 table。
- 或者您认为其他一些方法更适合我的情况？
我需要 Headline 才能开始我的 DWH 设计。我使用 Oracle 11g 作为我的数据库。
如果可用，请使用分区。
分区让您两全其美。您可以一次访问所有数据，只需一个 table。如果正确使用查询谓词或分区名称语法，table 会像魔法一样比实际小得多。您可以按天管理数据 - 加载和删除数据等批量操作可以以仅影响一天数据价值的方式完成。
间隔分区使事情变得更加容易。您甚至不必指定分区。只要告诉 Oracle，"make each day a new partition"。有一些新东西需要学习。但对于性能和可管理性的显着提升来说，这是一个很小的代价。
如果您使用的是企业版并且已经获得了分区选项的许可，那么没有理由不使用它。
我对创建数据仓库有疑问。 我们的系统每天生成超过 5000 万条记录，我对这些记录做了一些预处理，然后将它们加载到数据库中的 table。
现在你应该看到问题是：单个 table 的大小和你如何管理它（在大约 ~15 天的负载后 ~50M record/day）我需要保留 60 天前的记录。
现在我的问题是：设计我的数据仓库的最佳方式是：
- 每天或每周使用不同的table。
- 或使用多个分区的单个 table。
- 或者您认为其他一些方法更适合我的情况？
我需要 Headline 才能开始我的 DWH 设计。我使用 Oracle 11g 作为我的数据库。
如果可用，请使用分区。
分区让您两全其美。您可以一次访问所有数据，只需一个 table。如果正确使用查询谓词或分区名称语法，table 会像魔法一样比实际小得多。您可以按天管理数据 - 加载和删除数据等批量操作可以以仅影响一天数据价值的方式完成。
间隔分区使事情变得更加容易。您甚至不必指定分区。只要告诉 Oracle，"make each day a new partition"。有一些新东西需要学习。但对于性能和可管理性的显着提升来说，这是一个很小的代价。
如果您使用的是企业版并且已经获得了分区选项的许可，那么没有理由不使用它。