Space 存储双精度浮点数的高效文件类型

Space efficient file type to store double precision floats

我目前正在 运行 用 C 编写的模拟,然后使用 Python 脚本分析结果。 ATM C 程序正在将结果(很多双精度值)写入一个文本文件,该文件正在缓慢但肯定会吃掉很多磁盘 space。

有没有一种文件格式可以更space 有效地存储大量数值? 充其量但不一定满足以下要求

  1. 可以连续追加值,这样就不必一次将所有值都存储在内存中。

  2. 使用 Python.

  3. 或多或少可以轻松读取文件

我觉得这应该是一个非常常见的问题,但是寻找答案我只找到了 C 中各种数据类型的描述。

二进制文件,但请注意您正在保存的数据格式。如果可能,减少您使用的每个变量的宽度。例如,您是否需要保存小数或浮点数,或者您可以只保存 16 位或 32 位整数? 此外,是的,您可以应用一些压缩方案在保存前压缩数据,并在读取后解压缩,但这需要更多的工作,而且这可能对您所做的事情来说是一种矫枉过正。