RocksDB:支持核外?相关性能?
RocksDB: support of out-of-core ? related performance?
我正在启动一个新软件,它应该能够处理大型数据集,即几 TB 的数据。
我看到 Rocksdb 允许存储大型数据集,但我不确定它是否是核外功能?我的意思是,如果数据集大于计算机 RAM,它会处理吗?
此外,如果没有交换,是否有关于使用这种内存数据存储的性能影响研究?
谢谢
RocksDB 可以轻松处理超过 RAM 大小的数据集。但是,您几乎必须使用 Bloom 过滤器来保持性能,并且它们会占用 RAM。因此,随着数据库的增长,您会看到一些线性内存增长。但这远不是 1 比 1,更像是 1/50 左右。
我正在启动一个新软件,它应该能够处理大型数据集,即几 TB 的数据。
我看到 Rocksdb 允许存储大型数据集,但我不确定它是否是核外功能?我的意思是,如果数据集大于计算机 RAM,它会处理吗?
此外,如果没有交换,是否有关于使用这种内存数据存储的性能影响研究? 谢谢
RocksDB 可以轻松处理超过 RAM 大小的数据集。但是,您几乎必须使用 Bloom 过滤器来保持性能,并且它们会占用 RAM。因此,随着数据库的增长,您会看到一些线性内存增长。但这远不是 1 比 1,更像是 1/50 左右。