加载 csv 文件时出现内存错误？
memory error while loading csv file?
我有一台 Ubuntu 笔记本电脑，内存为 8 GB。还有一个 2 GB CSV 文件，但是当我使用 pandas 方法时 read_csv 加载我的数据时，内存已完全填满，而有 7 GB 内存可用。
2 GB 文件如何填充 7 GB 内存？
尝试使用chunksize参数：
df = pd.concat((chunk for chunk in pd.read_csv('/path/to/file.csv', chunksize=10**4)),
ignore_index=True)
您收到此 low_memory 警告的原因可能是因为猜测每一列的 dtype 非常需要内存。 Pandas 尝试通过分析每列中的数据来确定要设置的数据类型。
如果使用 32 位系统：
在 Windows 中使用 32 位版本时，python 经常发生内存错误。这是因为 32 位进程默认只能使用 2GB 内存。
试试这个：
tp = pd.read_csv('file_name.csv', header=None, chunksize=1000)
df = pd.concat(tp, ignore_index=True)
我有一台 Ubuntu 笔记本电脑，内存为 8 GB。还有一个 2 GB CSV 文件，但是当我使用 pandas 方法时 read_csv 加载我的数据时，内存已完全填满，而有 7 GB 内存可用。 2 GB 文件如何填充 7 GB 内存？
尝试使用chunksize参数：
df = pd.concat((chunk for chunk in pd.read_csv('/path/to/file.csv', chunksize=10**4)),
ignore_index=True)
您收到此 low_memory 警告的原因可能是因为猜测每一列的 dtype 非常需要内存。 Pandas 尝试通过分析每列中的数据来确定要设置的数据类型。
如果使用 32 位系统： 在 Windows 中使用 32 位版本时，python 经常发生内存错误。这是因为 32 位进程默认只能使用 2GB 内存。
试试这个：
tp = pd.read_csv('file_name.csv', header=None, chunksize=1000)
df = pd.concat(tp, ignore_index=True)