如何使用K-S检验检查两个结果是否具有可比性?

How to check two results are comparable or not using K-S test?

我在几个数据集上使用了两种算法(方法)并获得了一些结果。现在我想检查得到的结果是否具有可比性?我已经使用了两次采样的 K-S 测试并得到了以下结果,现在如何解释测试结果?结论应该是什么?

KstestResult(statistic=0.11320754716981132, pvalue=0.8906908896753045)
D_alpha= 0.2641897545611759

K-S 检验用于比较分布。因此,当您应用它时,您有兴趣将 F(X) 分布与另一个分布 $G(X)$ 进行比较。通常,前者是您的数据分布,后者是另一种数据分布或您指定的东西(例如高斯分布)。

现在,检验的原假设是 F(X)=G(X)。该测试生成一个 statistic 来评估是否可以假定此原假设为真。您通常不会直接查看此数量;而您想查看 p-value。如果零假设为真,则这是观察到的统计量大于您观察到的统计量的概率。在这种情况下,较低的 p 值表示观察到的统计量极不可能(即低概率)大于您在假设为真时观察到的统计量;因此,由于您观察到一个给您一个小 p 值的统计数据,您倾向于认为您的原假设一定是错误的,并且确实 F(X) 不同于 G(X)。

在您的情况下,p 值很高(对于低 p 值,我们打算为 0.1、0.05 或 0.01 或更低),因此您不拒绝原假设。因此,你会说你测试的东西是相同的并且在统计上没有差异。

但是,我强烈建议您阅读更多关于该测试的信息,它是如何使用的以及何时;还要尝试了解它是否适​​合您的情况。您可以在 Wikipedia and on the scipy docs

上完成