为什么增加 Lasso alpha 值只会增加均方根误差?

Why increasing Lasso alpha values the root mean squared error only increase?

您好,我正在使用 2*10^-5 到 500 范围内的不同值拟合 Lasso 模型作为 alpha 参数,例如:

alphas=np.linspace(0.00002,500,20) 

当我绘制交叉验证的负均方根误差和绝对误差时,我得到了这样的图表:

所以误差以模数增加然后保持不变而不是减少...为什么我得到这个结果?

选择非常小的 alpha 值,例如:

alphas=np.linspace(0.00001,0.00007,20)

我得到了 RMSE 的结果:

您知道为什么它似乎只适用于如此小的 alpha 值吗?谢谢

套索回归旨在增加偏差并减少方差。通过增加惩罚项,您将远离具有最低偏差的预测变量(增加 RMSE)。由于潜在的过度拟合,具有最低 RMSE 的估计器并不总是最好的。搜索 bias-variance tradeoff