pandas 数据框上的成对测试统计显着性

Question

我有一个 pandas 数据框 (100x10)，其中每一列代表一些数量，我想使用 t 检验对所有列进行成对测试。而不是遍历列：

stats.ttest_rel(df.iloc[:,i], df.iloc[:,j])

其中 i!=j，是否有更简洁的方法来做到这一点？类似于相关性的东西：

df.corr()

计算所有成对相关性的位置。

Answer 1

我认为没有直接创建成对 t 检验的方法，你可以试试这个

from scipy.stats import ttest_ind
import pandas as pd
import csv
df=pd.read_csv('input.csv')


fo = open('result.csv','wb+')
outfile = csv.writer(fo, delimiter=',')
outfile.writerow((df.columns).insert(0,''))

for i in df.columns:
    t=[]
    for j in df.columns:

        t.append(ttest_ind(df[i], df[j]))
    (t).insert(0,i)
    outfile.writerow(t)

此脚本将为您提供输出文件 result.csv，告诉您的成对 t 检验计算

Answer 2

不需要自己做双for循环。您可以使用 itertools.combinations

results = pd.DataFrame(columns=df.columns, index=df.columns)
for (label1, column1), (label2, column2) in itertools.combinations(df.items(), 2):
    results.loc[label1, label2] = results.loc[label2, label1] = stats.ttest_rel(column1, column2)

pandas 数据框上的成对测试统计显着性

Pair-wise testing statistical significance on pandas data frame

python

pandas

t-test