不同变量集的配对 T 检验

Paired T Test for different variable sets

比较不同 variable/attribute 集合但相同样本的机器学习算法的结果是否有意义?

我正在比较不同的 variable/attribute 组以找到最有效的组。通常,您使用 t 检验来比较另一个样本在相同变量上是否具有显着不同的结果。 我可以反之亦然吗?

如果您想比较从一个样本中得出的两个值,您可以使用单样本 t 检验。

但是,如果您想比较两个以上的值,由于多重比较问题,您不应使用 t 检验。基本上这只是意味着您计算的 t 检验越多,出现 1 类错误的机会就越高。为了避免这种情况,您可以通过成对比较(例如 Bonferroni)计算重复测量方差分析。