svm.LinearSVC 中的 'penalty' 参数需要澄清
Clarification needed for the 'penalty' argument in svm.LinearSVC
关于这个post,接受的答案解释了SVM正则化问题中的惩罚和损失。但是最后使用了术语 'l1-loss'、'l2-loss'。
据我了解,正则化问题中的objective函数是损失函数的总和,例如铰链损失:
\sum_i [1- y_i * f_i]_+
和处罚条款:
\lambda /2 ||\beta ||^2
通过说 'l1 hinge loss',我可以将其解释为参数 'penalty' 中指定的 l1-norm 适用于损失和惩罚条款吗?
下面来自统计学习原理(Hastie 等人)的正则化问题中,是否使用了 l1 损失?
不,L2 表示应用了哪种惩罚,铰链描述了损失项的性质。选择 L1 或 L2 不会改变铰链损失,它们只会影响惩罚项。
如果你在这里参考等式:https://scikit-learn.org/stable/modules/svm.html#linearsvc 对于 LinearSVC 的默认损失项,左边部分是惩罚,默认情况下是应用于权重的 L2 惩罚,而等式的右边部分是铰链损失。
在这里检查惩罚参数的描述:https://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html
指定惩罚中使用的范数。
您在上面提供的示例中使用了 L2 惩罚。 L1 惩罚是 beta 项的绝对值之和,上面的是平方值之和。
关于这个post,接受的答案解释了SVM正则化问题中的惩罚和损失。但是最后使用了术语 'l1-loss'、'l2-loss'。
据我了解,正则化问题中的objective函数是损失函数的总和,例如铰链损失:
\sum_i [1- y_i * f_i]_+
和处罚条款:
\lambda /2 ||\beta ||^2
通过说 'l1 hinge loss',我可以将其解释为参数 'penalty' 中指定的 l1-norm 适用于损失和惩罚条款吗?
下面来自统计学习原理(Hastie 等人)的正则化问题中,是否使用了 l1 损失?
不,L2 表示应用了哪种惩罚,铰链描述了损失项的性质。选择 L1 或 L2 不会改变铰链损失,它们只会影响惩罚项。
如果你在这里参考等式:https://scikit-learn.org/stable/modules/svm.html#linearsvc 对于 LinearSVC 的默认损失项,左边部分是惩罚,默认情况下是应用于权重的 L2 惩罚,而等式的右边部分是铰链损失。
在这里检查惩罚参数的描述:https://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html
指定惩罚中使用的范数。
您在上面提供的示例中使用了 L2 惩罚。 L1 惩罚是 beta 项的绝对值之和,上面的是平方值之和。