FlatBuffers:如何编写巨型文件
FlatBuffers: How to write giant files
我正在尝试使用 FlatBuffers 来存储 OpenStreetMap 数据。所以,这将是 50GB。
由于通常所有内容都保存在内存中,怎么可能(如果有的话)按顺序将数据写入文件?
我觉得这不是 FlatBuffers 擅长的地方。
目前无法创建一个单一的 FlatBuffer 而不同时将其全部存储在内存中。唯一的方法是写出一系列(长度前缀)较小的独立 FlatBuffers。
我认为您可以使用文件映射内存。所以 SO 将管理读取和写入(可能你将不得不实现一些分配器)
我正在尝试使用 FlatBuffers 来存储 OpenStreetMap 数据。所以,这将是 50GB。
由于通常所有内容都保存在内存中,怎么可能(如果有的话)按顺序将数据写入文件?
我觉得这不是 FlatBuffers 擅长的地方。
目前无法创建一个单一的 FlatBuffer 而不同时将其全部存储在内存中。唯一的方法是写出一系列(长度前缀)较小的独立 FlatBuffers。
我认为您可以使用文件映射内存。所以 SO 将管理读取和写入(可能你将不得不实现一些分配器)