split_test_train 和交叉验证之间的分数差异很大 (10%)
Big difference in score (10%) between a split_test_train and a cross validation
我有一个分类问题:
2,500 行。
25000 列
88种不同类分布不均
然后发生了一件非常奇怪的事情:
当我 运行 十几个不同的拆分测试火车时,我总是得到 60% 左右的分数...
当我 运行 交叉验证时,我总是得到 50% 左右的分数。
这里的屏幕:
此外,它与 类 的不平等分布无关,因为当我在 TTS 上放置 stratify=y 时,我保持在 60% 左右,而当我放置 StratifiedKFold 时,我保持在 50% 左右。
要记住哪个分数?为什么不同?对我来说,一份 CV 只是一连串的测试列车拆分,彼此之间的拆分不同,因此没有任何理由可以证明这种分数差异是合理的。
第一个代码示例 return 5 个值,然后您在 4/5 的数据上学习,在 1/5 上有效。
第二个sample learn on 5/6 and valid on 1/6, 效果更好
也许你可以试试for k in range(5)
,看看你们的分数是否还有很大的差距?
简答:将 shuffle=True 添加到您的 KFold 中:
cross_val_score(森林,X,y,cv=KFold(shuffle=True))
长答案:连续的 TrainTestSplit 与经典 KFold 的交叉验证之间的区别在于,在火车和测试集之间进行拆分之前,TTS 中存在混合。
分数的差异可能是由于您的数据集以有偏见的方式排序。
因此,只需将 shuffle=True 添加到您的 KFold(或您的 StratifiedKFold,这就是您需要做的全部)。
我有一个分类问题: 2,500 行。 25000 列 88种不同类分布不均
然后发生了一件非常奇怪的事情:
当我 运行 十几个不同的拆分测试火车时,我总是得到 60% 左右的分数...
当我 运行 交叉验证时,我总是得到 50% 左右的分数。
这里的屏幕:
要记住哪个分数?为什么不同?对我来说,一份 CV 只是一连串的测试列车拆分,彼此之间的拆分不同,因此没有任何理由可以证明这种分数差异是合理的。
第一个代码示例 return 5 个值,然后您在 4/5 的数据上学习,在 1/5 上有效。 第二个sample learn on 5/6 and valid on 1/6, 效果更好
也许你可以试试for k in range(5)
,看看你们的分数是否还有很大的差距?
简答:将 shuffle=True 添加到您的 KFold 中: cross_val_score(森林,X,y,cv=KFold(shuffle=True))
长答案:连续的 TrainTestSplit 与经典 KFold 的交叉验证之间的区别在于,在火车和测试集之间进行拆分之前,TTS 中存在混合。 分数的差异可能是由于您的数据集以有偏见的方式排序。 因此,只需将 shuffle=True 添加到您的 KFold(或您的 StratifiedKFold,这就是您需要做的全部)。