FlatBuffers:如何编写巨型文件

FlatBuffers: How to write giant files

我正在尝试使用 FlatBuffers 来存储 OpenStreetMap 数据。所以,这将是 50GB。

由于通常所有内容都保存在内存中,怎么可能(如果有的话)按顺序将数据写入文件?

我觉得这不是 FlatBuffers 擅长的地方。

目前无法创建一个单一的 FlatBuffer 而不同时将其全部存储在内存中。唯一的方法是写出一系列(长度前缀)较小的独立 FlatBuffers。

我认为您可以使用文件映射内存。所以 SO 将管理读取和写入(可能你将不得不实现一些分配器)