Greenplum 中的 TB 级数据库

Terabyte scale database in Greenplum

我目前正在使用 greenplum 对 1GB 等小规模数据进行测试。

正如据说 greenplum "petabytes-scale",我想知道拥有 1 或 10 TB 的数据量是否值得进入此 MPP 处理而不是普通的 PostgreSQL 数据库。 我所有的网络接口都有 10 个 Mb/s 用于从站和主站。

Best practices 不包括这些注意事项。问题在于,由于网络处理,"little database" 的结果可能很差。 您是否已经实现了这种规模的数据库?

PostgreSQL 和 Greenplum 的工作负载不同。 PostgreSQL 非常适合 OLTP、带有索引查找的查询、引用完整性等。您通常也知道 OLTP 数据库中的查询模式。它当然可以满足一些数据仓库或分析需求,但它可以通过购买具有更多 RAM 和更多内核以及更快磁盘的更大机器来扩展。

另一方面,Greenplum 专为数据仓库和分析而设计。您在不知道用户将如何查询数据的情况下设计数据库。这意味着顺序读取、无索引、完整 table 扫描等。它可以完成一些 OLTP 工作,但它不是为此而设计的。您可以通过向集群添加更多节点来扩展 Greenplum。这将为您提供更多 CPU、RAM 和磁盘吞吐量。

您的用例是什么?这是选择 Greenplum 还是 PostgreSQL 的最大决定因素。