从多个 csv 中提取列名前几个字符的列

Question

我正在尝试从多个 csv 文件中提取特定列并将它们合并为一个。每个文件包含 265 列，提取特定列及其索引号非常困难。他们能高效地完成这些任务吗？

我有大约 120 个 csv 文件。

Answer 1

pandas 中有一个解决方案，可以从当前目录中的所有 *.csv 文件中按名称提取两列。

代码：

import pandas as pd
from glob import glob
seek_cols = ["FccFaultB1", "FccFaultB2"]
infiles = glob("*.csv")

df = pd.DataFrame(columns=seek_cols)

for infile in infiles:
    data = pd.read_csv(infile)[seek_cols]
    df = df.append(data)

就我而言，test1.csv：

FccFaultB0,FccFaultB1,FccFaultB2,FccFaultB3
0,0,0,0

和test2.csv：

FccFaultB0,FccFaultB1,FccFaultB2,FccFaultB3
1,1,1,1

导致 df:

  FccFaultB1 FccFaultB2
0          1          1
0          0          0

从多个 csv 中提取列名前几个字符的列

Extract columns with first few characters of the column name from multiple csv

python

csv

numpy

group-concat

pandas