求 5000 个不同 csvs 的平均值以汇总在一个 python 列表中
Finding mean of 5000 different csvs to summarize in one python list
我有一个包含大约 5000 个 csvs 的文件夹，每个 csv 有 60,000 行和 10 列。我希望获得每个 csv 的平均值并将其附加到列表中。当前代码如下：
mean_list = []
for item in train_frags: # train_frags is a variable that holds location of all files
segment = pd.read_csv(item,dtype = 'Int16')
mean_list.append(segment.mean())
此代码已经 运行 超过 10 分钟了！！.请推荐一个有效的版本。
我唯一能想到的是你正在使用追加，这很慢，所以如果可能的话，可以尝试将它转换为列表理解。我唯一能想到的另一件事是使用 numba (https://numba.pydata.org/)，这有助于提高性能和速度。
我有一个包含大约 5000 个 csvs 的文件夹，每个 csv 有 60,000 行和 10 列。我希望获得每个 csv 的平均值并将其附加到列表中。当前代码如下：
mean_list = []
for item in train_frags: # train_frags is a variable that holds location of all files
segment = pd.read_csv(item,dtype = 'Int16')
mean_list.append(segment.mean())
此代码已经 运行 超过 10 分钟了！！.请推荐一个有效的版本。
我唯一能想到的是你正在使用追加，这很慢，所以如果可能的话，可以尝试将它转换为列表理解。我唯一能想到的另一件事是使用 numba (https://numba.pydata.org/)，这有助于提高性能和速度。