为什么我们应该使用套索而不是线性回归来进行机器学习中的特征选择?
Why should we use Lasso over Linear regression for feature selection in machine learning?
在机器学习中选择特征时,可以使用套索回归通过选择最小系数来找出最少需要的特征,但我们可以使用线性回归来做同样的事情
线性回归
Y=x0+x1b1+x2b2......xnbn
这里x1,x2,x3...xn是系数,使用梯度下降我们得到最好的系数,我们可以去掉系数最小的特征。现在可以使用线性回归,那么为什么要使用套索回归呢?
我是不是遗漏了什么,请帮忙
Lasso
是一种正则化技术,用于在训练模型时避免过度拟合。当你不使用任何正则化技术时,你的损失函数只是试图最小化预测值和实际值之间的差异 min |y_pred - y|
。
为了最小化此损失函数,梯度下降会更改模型的系数。此步骤可能会导致模型过度拟合,因为您的优化函数只想最小化 difference between prediction and real value
。为了解决这个问题,正则化技术向损失函数添加了另一个惩罚项:value of coefficients
。这样,当您的模型试图最小化预测值和实际值之间的差异时,它也会尝试不要过多地增加系数。
正如您所提到的,您可以 select 以两种方式使用特征,但是,Lasso 技术还可以解决过度拟合问题。
在机器学习中选择特征时,可以使用套索回归通过选择最小系数来找出最少需要的特征,但我们可以使用线性回归来做同样的事情
线性回归
Y=x0+x1b1+x2b2......xnbn
这里x1,x2,x3...xn是系数,使用梯度下降我们得到最好的系数,我们可以去掉系数最小的特征。现在可以使用线性回归,那么为什么要使用套索回归呢? 我是不是遗漏了什么,请帮忙
Lasso
是一种正则化技术,用于在训练模型时避免过度拟合。当你不使用任何正则化技术时,你的损失函数只是试图最小化预测值和实际值之间的差异 min |y_pred - y|
。
为了最小化此损失函数,梯度下降会更改模型的系数。此步骤可能会导致模型过度拟合,因为您的优化函数只想最小化 difference between prediction and real value
。为了解决这个问题,正则化技术向损失函数添加了另一个惩罚项:value of coefficients
。这样,当您的模型试图最小化预测值和实际值之间的差异时,它也会尝试不要过多地增加系数。
正如您所提到的,您可以 select 以两种方式使用特征,但是,Lasso 技术还可以解决过度拟合问题。