通过径向基函数 (RBF) SVM 进行分类

Classification through Radial Basis Function (RBF) SVM

我正在使用 sklearn.svm.SVC (kernel='rbf') 对图像数据进行分类,效果非常好。线性SVM通过在两者之间放置一个超平面类来对数据进行分类。在 rbf SVM 的情况下,平面将处于无限维度。对于任何测试点,我们都可以使用预测来检查它属于哪个。在线性情况下,我们可以通过获取超平面的方程来手动获得预测。我们如何在 rbf SVM 案例中做到这一点。预测在 rbf SVM 案例中是如何工作的。

要事第一

每当我们分类时,我们应该考虑:

  • 可以针对高维特征学习分类器 spaces,无需 实际上必须将点映射到高维 space.
  • 数据可能在高维space上线性可分,但在原始特征上线性不可分space
  • 由于对偶形式的标量积,内核可用于 SVM,但也可用于其他地方——它们不受 SVM 形式主义的约束。
  • 内核也适用于非向量对象

例如我会放一些用过的内核。

对于具有高斯内核的 SVM 分类器,我们将有类似的东西:

如您所见,支持向量已被替换,因此我们可以根据结果改变它,例如,考虑两个特征及其彩色点:

并设置一些我们得到的值:

现在

或者

现在当无穷大出现时会发生什么:

然后:

而 adaBoost 与数据集一起玩呢? http://cseweb.ucsd.edu/~yfreund/adaboost/

如果您愿意,可以测试 Ian Nabney 的 The NETLAB ML Matlab 软件 here

这里有更多 SVM 资源

  • Christopher M. Bishop,"Pattern Recognition and Machine Learning",Springer (2006),ISBN 0-38-731073-8。
  • Hastie、Tibshirani、Friedman,"Elements of Statistical Learning",第二版,Springer,2009 年。PDF 可在线获取。
  • Ian H. Witten 和 Eibe Frank,"Data Mining: Practical Machine Learning Tools and Techniques",第二版,2005 年。
  • David MacKay,"Information Theory, Inference, and Learning Algorithms" 可在线免费获得!
  • 汤姆·米切尔,"Machine Learning",麦格劳希尔,1997 年