python: 数据在采样到一个小数据集后添加了一个额外的列

Question

这对我来说很奇怪：

我有一个 5 列的 csv 数据集，前几行如下：

1,2268318,2520377,pv,1511544070
1,2333346,2520771,pv,1511561733
1,2576651,149192,pv,1511572885
1,3830808,4181361,pv,1511593493
1,4365585,2520377,pv,1511596146
1,4606018,2735466,pv,1511616481

数据采样代码：

df = pd.read_csv(
        filename,
        header=0
        )
ddf = df.sample(n=100150)
ddf.to_csv(samplename, sep=',')

生成的采样文件如下：

1,2268318,2520377,pv,1511544070
50533941,564438,1311198,2806049,pv,1511700754
53243335,689136,111697,154040,pv,1512264559
68168213,452960,119903,1151115,pv,1511711183
18695132,942795,2288684,1526856,pv,1511594854

由于某些奇怪的原因，您可以看到采样数据包含除第一行以外的 6 列（第一行是正确的）。

代码有什么问题？如何获得随机生成的样本（比例可调）？

我在 spyder/pycharm 中使用 python 3.6。

谢谢。

Answer 1

我认为问题是您的第一个数据行设置为列名称。

因此需要将 header=0 更改为 header=None 默认的 RangeIndex 列名称。

import pandas as pd

temp=u"""1,2268318,2520377,pv,1511544070
1,2333346,2520771,pv,1511561733
1,2576651,149192,pv,1511572885
1,3830808,4181361,pv,1511593493
1,4365585,2520377,pv,1511596146
1,4606018,2735466,pv,1511616481"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), header=None)

print (df)
   0        1        2   3           4
0  1  2268318  2520377  pv  1511544070
1  1  2333346  2520771  pv  1511561733
2  1  2576651   149192  pv  1511572885
3  1  3830808  4181361  pv  1511593493
4  1  4365585  2520377  pv  1511596146
5  1  4606018  2735466  pv  1511616481

额外的第一列称为索引，如果需要将其删除，如果将 DataFrame 写入 csv 使用参数 index=False 并删除列名称 header=None:

df.to_csv(file, index=False, header=None)

1,2268318,2520377,pv,1511544070
1,2333346,2520771,pv,1511561733
1,2576651,149192,pv,1511572885
1,3830808,4181361,pv,1511593493
1,4365585,2520377,pv,1511596146
1,4606018,2735466,pv,1511616481

编辑：

我建议创建自定义列名以便通过参数 names 更轻松地处理数据（header=None 不是必需的）并删除一些列使用 drop:

import pandas as pd

temp=u"""1,2268318,2520377,pv,1511544070
1,2333346,2520771,pv,1511561733
1,2576651,149192,pv,1511572885
1,3830808,4181361,pv,1511593493
1,4365585,2520377,pv,1511596146
1,4606018,2735466,pv,1511616481"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), names=['col1','col2','col3','col4','col5'])
print (df)
   col1     col2     col3 col4        col5
0     1  2268318  2520377   pv  1511544070
1     1  2333346  2520771   pv  1511561733
2     1  2576651   149192   pv  1511572885
3     1  3830808  4181361   pv  1511593493
4     1  4365585  2520377   pv  1511596146
5     1  4606018  2735466   pv  1511616481

df1 = df.drop('col4', axis=1)
print (df1)
   col1     col2     col3        col5
0     1  2268318  2520377  1511544070
1     1  2333346  2520771  1511561733
2     1  2576651   149192  1511572885
3     1  3830808  4181361  1511593493
4     1  4365585  2520377  1511596146
5     1  4606018  2735466  1511616481

python: 数据在采样到一个小数据集后添加了一个额外的列

python: data was added an extra column after sampled to a small dataset

python

sample