LS-SVM：基于样本数的正则化参数的最大值
LS-SVM: maximum value for parameter of regularization based on number of samples
我用的是ls_svm 24*468的数据集。我的变量选择和 SVM 参数调整基于留一法 CV。增加正则化参数的上限会导致更好的 Q2（留一系数），但测试集结果的改善并不是那么好。样本数 (24) 与最大正则化参数之间是否存在关系？
首先我们需要澄清两件事，超参数C实际上是正则化的逆。 C 越大 - 正则化越小。根据您的问题，我想您对 C 的上限感兴趣，这实际上是正则化的下限。我很确定你不能仅仅根据点数来获得这样的价值。为什么？因为 SVM 不是仿射变换不变的，所以如果我简单地将你的整个数据集缩放 2 倍，你将需要更大的 C 才能获得与缩放前完全相同的结果。换句话说 - 您的实际 scale/position 点数至关重要。不幸的是，即使对于正确缩放的数据 - 据我所知 - 没有 C 的上限，但是有下限 - 您可以计算 SVM 导致非平凡的最小 C模型。然而在另一端 - 它似乎是一个比 SVM 本身更复杂的优化问题。
我用的是ls_svm 24*468的数据集。我的变量选择和 SVM 参数调整基于留一法 CV。增加正则化参数的上限会导致更好的 Q2（留一系数），但测试集结果的改善并不是那么好。样本数 (24) 与最大正则化参数之间是否存在关系？
首先我们需要澄清两件事，超参数C实际上是正则化的逆。 C 越大 - 正则化越小。根据您的问题，我想您对 C 的上限感兴趣，这实际上是正则化的下限。我很确定你不能仅仅根据点数来获得这样的价值。为什么？因为 SVM 不是仿射变换不变的，所以如果我简单地将你的整个数据集缩放 2 倍，你将需要更大的 C 才能获得与缩放前完全相同的结果。换句话说 - 您的实际 scale/position 点数至关重要。不幸的是，即使对于正确缩放的数据 - 据我所知 - 没有 C 的上限，但是有下限 - 您可以计算 SVM 导致非平凡的最小 C模型。然而在另一端 - 它似乎是一个比 SVM 本身更复杂的优化问题。