upickling 错误数据被截断 - 保存大型数据帧的更好方法
upickling error data was truncated - better way to save large dataframe
我有一个相当大的数据框需要保存。我使用 pickle 保存时大小约为 300mb。
我了解了其他一些保存大型数据帧的方法。我正在使用 bz2.BZ2File & 我可以看到文件现在只有 50mb。但是，当我尝试加载数据时出现以下错误，
UnpicklingError: pickle data was truncated
有没有更好的方法来保存大型数据框？
将数据帧保存为 csv 文件会有所帮助。数据帧包含的信息不仅仅是数据，因此在 pickling 时，此类数据帧将转换为字符串，该字符串占用大量 space 而 csv 不会。
注意方法 to_csv 甚至支持压缩。例如。保存为 zip：
df.to_csv('filename.zip', compression='infer')
我有一个相当大的数据框需要保存。我使用 pickle 保存时大小约为 300mb。
我了解了其他一些保存大型数据帧的方法。我正在使用 bz2.BZ2File & 我可以看到文件现在只有 50mb。但是，当我尝试加载数据时出现以下错误，
UnpicklingError: pickle data was truncated
有没有更好的方法来保存大型数据框？
将数据帧保存为 csv 文件会有所帮助。数据帧包含的信息不仅仅是数据，因此在 pickling 时，此类数据帧将转换为字符串，该字符串占用大量 space 而 csv 不会。
注意方法 to_csv 甚至支持压缩。例如。保存为 zip：
df.to_csv('filename.zip', compression='infer')