无法使用 Pandas 或 Python 中的 Blaze 加载大文件 (~2gb)

Question

我有一个超过 500 万行和 20 个字段的文件。我想在 Pandas 中打开它，但出现内存不足错误：

pandas.parser.CParserError: Error tokenizing data. C error: out of memory

然后我阅读了一些关于类似问题的帖子并发现了 Blaze，但是遵循三种方法（.Data、.CSV、.Table），none 显然有效。

# coding=utf-8
import pandas as pd
from pandas import DataFrame, Series
import re
import numpy as np
import sys
import blaze as bz
reload(sys)
sys.setdefaultencoding('utf-8')

# Gave an out of memory error
'''data = pd.read_csv('file.csv', header=0, encoding='utf-8', low_memory=False)
df = DataFrame(data)

print df.shape
print df.head'''

data = bz.Data('file.csv')

# Tried the followings too, but no luck
'''data = bz.CSV('file.csv')
data = bz.Table('file.csv')'''

print data
print data.head(5)

输出：

_1
_1.head(5)
[Finished in 1.0s]

Answer 1

火焰

对于 bz.Data(...) 对象，您必须实际执行一些操作才能获得结果。它根据需要加载数据。如果您在终端输入

>>> data

你会把头像显示在屏幕上。如果您需要使用打印功能，请尝试

bz.compute(data.head(5))

dask.dataframe

您也可以考虑使用 dask.dataframe，它具有与 pandas

相似的（虽然是子集）API

>>> import dask.dataframe as dd
>>> data = dd.read_csv('file.csv', header=0, encoding='utf-8')

无法使用 Pandas 或 Python 中的 Blaze 加载大文件 (~2gb)

Can't load large file (~2gb) using Pandas or Blaze in Python

python-2.7

pandas

blaze

large-data

火焰

dask.dataframe