使用 SciPy 将大型 IDL 文件导入 Python
Importing large IDL files into Python with SciPy
我目前使用 scipy.io.readsav() 将 IDL .sav 文件导入 Python，效果很好，例如：
data = scipy.io.readsav('data.sav', python_dict=True, verbose=True)
但是，如果 .sav 文件很大（例如 > 1 GB），我在尝试导入 Python 时遇到 MemoryError。
通常，遍历数据当然可以解决这个问题（如果它是 .txt 或 .csv 文件）而不是一次全部加载它，但我不知道我该如何做到这一点使用 .sav 文件，考虑到我所知道的唯一导入它的方法是使用 readsav。
有什么办法可以避免这个内存错误吗？
此问题已通过使用 64 位解决python。
我目前使用 scipy.io.readsav() 将 IDL .sav 文件导入 Python，效果很好，例如：
data = scipy.io.readsav('data.sav', python_dict=True, verbose=True)
但是，如果 .sav 文件很大（例如 > 1 GB），我在尝试导入 Python 时遇到 MemoryError。
通常，遍历数据当然可以解决这个问题（如果它是 .txt 或 .csv 文件）而不是一次全部加载它，但我不知道我该如何做到这一点使用 .sav 文件，考虑到我所知道的唯一导入它的方法是使用 readsav。
有什么办法可以避免这个内存错误吗？
此问题已通过使用 64 位解决python。