Python Pandas 不读取 csv 文件的第一行

Question

我在读取 pandas 模块上的 CSV（或 txt 文件）时遇到问题因为numpy的loadtxt函数耗时太长，所以决定用pandas read_csv代替

我想从 txt 文件创建一个 numpy 数组，其中四列由 space 分隔，并且行数非常多（比如 256^3。在这个例子中，它是 64^3） .

问题是我不知道为什么，但似乎 pandas 的 read_csv 总是跳过 csv (txt) 文件的第一行（第一行），结果是数据较少。

这是代码。

from __future__ import division
import numpy as np
import pandas as pd
ngridx = 4
ngridy = 4
ngridz = 4
size = ngridx*ngridy*ngridz
f = np.zeros((size,4))
a = np.arange(size)
f[:, 0] = np.floor_divide(a, ngridy*ngridz)
f[:, 1] = np.fmod(np.floor_divide(a, ngridz), ngridy)
f[:, 2] = np.fmod(a, ngridz)
f[:, 3] = np.random.rand(size)
print f[0]
np.savetxt('Testarray.txt',f,fmt='%6.16f')
g = pd.read_csv('Testarray.txt',delimiter=' ').values
print g[0]
print len(g[:,3])

输出中显示的

f[0] 和 g[0] 必须匹配但没有匹配，这表明 pandas 正在跳过 Testarray.txt 的第一行。此外，加载文件的长度 g 小于数组的长度 f.

我需要帮助。

提前致谢。

Answer 1

默认情况下，pd.read_csv 使用 header=0（当 names 参数也未指定时），这意味着第一行（即第 0 个索引）行被解释为列名。

如果你的数据没有header，那就用

pd.read_csv(..., header=None)

例如，

import io
import sys
import pandas as pd
if sys.version_info.major == 3:
    # Python3
    StringIO = io.StringIO 
else:
    # Python2
    StringIO = io.BytesIO

text = '''\
1 2 3
4 5 6
'''

print(pd.read_csv(StringIO(text), sep=' '))

没有 header，第一行 1 2 3 设置列名称：

   1  2  3
0  4  5  6

使用header=None，第一行被视为数据：

print(pd.read_csv(StringIO(text), sep=' ', header=None))

打印

   0  1  2
0  1  2  3
1  4  5  6

Answer 2

如果您的文件没有 header 行，您需要告诉 Pandas 因此在调用 [=12= 时使用 header=None ]().

Python Pandas 不读取 csv 文件的第一行

Python Pandas does not read the first row of csv file

python

numpy

pandas

load