使用 10 折交叉验证时是否需要进行显着性测试?

does we need significant test when we use 10-fold cross validation?

通常为了表明我们的结果不是偶然的,我们使用像 t 检验这样的显着性检验。但是当我们使用 10 折交叉验证时,我们在数据集块上学习和测试我们的模态。我想知道当我们使用了 10 折交叉验证时,我们还需要进行 t 检验吗?更准确地说,我的意思是什么时候我们应该使用 10 折交叉验证?

当应用于两个正态分布变量的差异时,t 检验是一种参数检验,用于估计我们对两个变量具有不同期望这一事实的信心。

10 折交叉验证是一种重采样技术,当我们不知道分布预先统计(非参数设置)。

使用交叉验证,你不会得到很好的 'it is significant' 结果,你只是有一个统计估计的分布,其中的方差是我们可以拥有的信心的指标。

在构建非参数回归或分类模型时,model selection 经常使用交叉验证。

T 检验是一种对数据进行的统计检验。假设您正在比较两个数据集,并且您想知道这两个数据集之间是否存在显着差异。然后你会做一个t检验。

交叉验证更像是一种评估模型的技术。通常用于确保您的模型不是 overfitting.You 在构建模型时执行此操作,以确保您拥有一个能够泛化到未来数据的模型。这里没有使用任何类型的统计测试。 希望对你的疑惑有所帮助