支持向量机和拉格朗日乘数

support vector machines and Lagrange multiplier

要找到超平面,我们必须用拉格朗日乘数解决优化问题。我读过很多教程,他们都说支持向量是唯一拉格朗日乘数不为零的向量。

我想知道为什么,或者我们只是假设?

这是因为从数学的角度来看,超平面可以表示为(在线性情况下):

w = SUM_i^N y_i alpha_i x_i

因此,如果某些拉格朗日乘数 (alpha_i) 为零,则它们对应的向量 (x_i) 根本不会影响超平面,因为乘以零会使该向量从超平面中消失计算。同样在内核情况下

<w, x> = SUM_i^N y_i alpha_i K(x_i, x)

对于 0 拉格朗日乘数,相应向量的核值无关紧要(同样 - 乘以零会删除该元素)。

因此我们调用这些在任何意义上都用于表达超平面的向量 - 支持向量,因为它们是唯一的实际上 支持 超平面,所有剩余的 - 在计算中被忽略。