关于SVM的难点解读

SVM的最优化公式

       在各种对SVM的讲解中，有一个知识点都讲得不够透彻：SVM的目标函数是最大化支持向量的几何间隔，但怎么最后就变成了最小化法向量（斜率）了呢？

       可以想像一下，一个超平面，斜率和截距以相同的倍数增大，这个超平面是不变的。也就是说，一个固定的超平面的参数却是不固定的。在我们求最优超平面时，解空间也就变成了无穷大。我们当然可以通过预先给这些参数设定一些约束来缩小解空间。那么，这个约束就是：令支持向量的函数间隔=1。

       这个约束的优点有两方面：

在超平面都未确定的情况下，当然谁也不知道支持向量是哪些向量，支持向量的几何间隔也只有一个形式化表达，更别谈“最大化支持向量的几何间隔”该如何具体表达出来了。但有了以上约束，“支持向量的几何间隔”的表达中，谁是支持向量已经不重要了，唯一和样本相关的部分，也就是函数间隔，已变为了1.
其它样本的函数间隔要大于支持向量的函数间隔，这是唯一要满足的约束。此时，这个问题的解空间已经不是无穷大了，有了有意义的解空间。

支持向量回归

      本质上跟SVM没什么关系，名字较易让人困惑。但libSVM里都加入了这个功能，不得不说一下。其实是求解一个线性回归问题，但由于对斜率增加了最小范数要求，最优化问题形式上和SVM很像，最后求出的线性函数表达式也跟SVM很像，出现了美妙的与支持向量的内积形式。