Space 存储双精度浮点数的高效文件类型
Space efficient file type to store double precision floats
我目前正在 运行 用 C 编写的模拟,然后使用 Python 脚本分析结果。
ATM C 程序正在将结果(很多双精度值)写入一个文本文件,该文件正在缓慢但肯定会吃掉很多磁盘 space。
有没有一种文件格式可以更space 有效地存储大量数值?
充其量但不一定满足以下要求
可以连续追加值,这样就不必一次将所有值都存储在内存中。
使用 Python.
或多或少可以轻松读取文件
我觉得这应该是一个非常常见的问题,但是寻找答案我只找到了 C 中各种数据类型的描述。
二进制文件,但请注意您正在保存的数据格式。如果可能,减少您使用的每个变量的宽度。例如,您是否需要保存小数或浮点数,或者您可以只保存 16 位或 32 位整数?
此外,是的,您可以应用一些压缩方案在保存前压缩数据,并在读取后解压缩,但这需要更多的工作,而且这可能对您所做的事情来说是一种矫枉过正。
我目前正在 运行 用 C 编写的模拟,然后使用 Python 脚本分析结果。 ATM C 程序正在将结果(很多双精度值)写入一个文本文件,该文件正在缓慢但肯定会吃掉很多磁盘 space。
有没有一种文件格式可以更space 有效地存储大量数值? 充其量但不一定满足以下要求
可以连续追加值,这样就不必一次将所有值都存储在内存中。
使用 Python.
或多或少可以轻松读取文件
我觉得这应该是一个非常常见的问题,但是寻找答案我只找到了 C 中各种数据类型的描述。
二进制文件,但请注意您正在保存的数据格式。如果可能,减少您使用的每个变量的宽度。例如,您是否需要保存小数或浮点数,或者您可以只保存 16 位或 32 位整数? 此外,是的,您可以应用一些压缩方案在保存前压缩数据,并在读取后解压缩,但这需要更多的工作,而且这可能对您所做的事情来说是一种矫枉过正。