使用 zipfile 和 scipy.io.arff 从 ZIP 中读取 ARFF

Question

我想在 scikit-learn 中处理相当大的 ARFF 文件。这些文件位于 zip 存档中，我不想在处理之前将存档解压缩到文件夹中。因此，我使用 Python 3.6:

的 zipfile 模块

from zipfile import ZipFile
from scipy.io.arff import loadarff

archive = ZipFile( 'archive.zip', 'r' )
datafile = archive.open( 'datafile.arff' )
data = loadarff( datafile )
# …
datafile.close()
archive.close()

但是，这会产生以下错误：

Traceback (most recent call last):
  File "./m.py", line 6, in <module>
    data = loadarff( datafile )
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 541, in loadarff
    return _loadarff(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 550, in _loadarff
    rel, attr = read_header(ofile)
  File "/usr/lib64/python3.6/site-packages/scipy/io/arff/arffread.py", line 323, in read_header
    while r_comment.match(i):
TypeError: cannot use a string pattern on a bytes-like object

根据 loadarff documentation，loadarff 需要一个类文件对象。根据zipfile documentation, open returns 一个类似文件的 ZipExtFile.

因此，我的问题是如何使用 ZipFile.open returns 作为 loadarff.

的 ARFF 输入

注意：如果我手动解压并直接用data = loadarff( 'datafile.arff' )加载ARFF，一切都很好。

Answer 1

from io import BytesIO, TextIOWrapper
from zipfile import ZipFile
from scipy.io.arff import loadarff

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(BytesIO(zfile.read('datafile.arff')), encoding='utf-8')
data = loadarff(in_mem_fo)

将 zfile 读入内存中的 BytesIO 对象。使用 TextIOWrapper 和 encoding='utf-8'。在 loadarff.

中使用此内存缓冲文本对象

编辑：结果 zfile.open() returns 一个类似文件的对象，因此可以通过以下方式完成上述操作：

zfile = ZipFile('archive.zip', 'r')
in_mem_fo = TextIOWrapper(zfile.open('datafile.arff'), encoding='ascii')
data = loadarff(in_mem_fo)

感谢@Bernhard

使用 zipfile 和 scipy.io.arff 从 ZIP 中读取 ARFF

Reading ARFF from ZIP with zipfile and scipy.io.arff

python

scipy

arff

scikit-learn

python-zipfile