一个一个地打开文件夹中的所有 csv，并将它们附加到字典或 pandas 数据框

Question

我将数据保存为文件夹中的 csv。我想打开它们并创建一个独特的字典或数据框来使用它。数据具有相同的列名但行数不同。我试过了

big_data={}
path='/pathname'
files=glob.glob(path+/".csv")
for l in files:
   data=pd.read_csv(l,index_col=None, header=0)
   big_data.append(data)
df=pd.DataFrame.from_dict(big_data)

但结果一点都不好谁能告诉我我做错了什么？

Answer 1

你应该使用列表 concat:

big_data=[]
path='/pathname'
files=glob.glob(path+/".csv")
for l in files:
   data=pd.read_csv(l,index_col=None, header=0)
   big_data.append(data)
df=pd.concat(big_data)

from_dict 方法的问题在于它期望键是索引或列，但在您的情况下它们是不正确的 df 对象

一个一个地打开文件夹中的所有 csv，并将它们附加到字典或 pandas 数据框

open all csv in a folder one by one and append them to a dictionary or pandas dataframe

python

csv

dictionary

pandas