交叉验证套索回归
Crossvalidation Lasso regression
我目前正在使用套索进行特征选择。首先，我执行 10 折交叉验证以找到具有最低 MSE 的收缩参数。我现在尝试自己计算训练集的 MSE，但是，这个值不适合 cv-plot。
cv <- cv.glmnet(as.matrix(mtcars[,c(1,3:9)]), mtcars[,c(2)], alpha=1, nfolds=10, type.measure="mse")
plot(cv)
lasso.mod <- glmnet(as.matrix(mtcars[,c(1,3:9)]),mtcars[,c(2)],alpha=1,lambda=cv$lambda.min)
y <- predict(lasso.mod, s=cv$lambda.min, newx=as.matrix(mtcars[,c(1,3:9)]))
mean((mtcars[,c(2)]-y)^2) # calculate MSE
上面和下面的公式有什么区别？据说下面的公式提供了套索的 MSE，但为什么两个值不相同？准确地说，我使用与计算 MSE 相同的数据集进行交叉验证。
cv$cvm[cv$lambda == cv$lambda.min]
交叉验证的MSE不应该等于整个训练数据集的MSE，因为它们完全是两个不同的概念。
某个lambda的交叉验证MSE是：如果将训练数据集分成10个部分，对每个部分执行以下操作：使用lambda和其他9个部分拟合套索模型并计算该部分的MSE ，并计算您拥有的 10 个 MSE 的平均值。这就是交叉验证MSE，它在训练数据集上与MSE完全不同。
我目前正在使用套索进行特征选择。首先，我执行 10 折交叉验证以找到具有最低 MSE 的收缩参数。我现在尝试自己计算训练集的 MSE，但是，这个值不适合 cv-plot。
cv <- cv.glmnet(as.matrix(mtcars[,c(1,3:9)]), mtcars[,c(2)], alpha=1, nfolds=10, type.measure="mse")
plot(cv)
lasso.mod <- glmnet(as.matrix(mtcars[,c(1,3:9)]),mtcars[,c(2)],alpha=1,lambda=cv$lambda.min)
y <- predict(lasso.mod, s=cv$lambda.min, newx=as.matrix(mtcars[,c(1,3:9)]))
mean((mtcars[,c(2)]-y)^2) # calculate MSE
上面和下面的公式有什么区别？据说下面的公式提供了套索的 MSE，但为什么两个值不相同？准确地说，我使用与计算 MSE 相同的数据集进行交叉验证。
cv$cvm[cv$lambda == cv$lambda.min]
交叉验证的MSE不应该等于整个训练数据集的MSE，因为它们完全是两个不同的概念。
某个lambda的交叉验证MSE是：如果将训练数据集分成10个部分，对每个部分执行以下操作：使用lambda和其他9个部分拟合套索模型并计算该部分的MSE ，并计算您拥有的 10 个 MSE 的平均值。这就是交叉验证MSE，它在训练数据集上与MSE完全不同。