支持向量机学习笔记

支持向量机

支持向量机的目的是为了找到分类间隔最大的分割超平面。
分割超平面即距离所有样本最小距离的值最大的超平面。
一般是通过最大化几何间隔实现。
几何间隔：其中,为

由于通过按照一定的比例缩放，我们总可以另为1,从而最大化几何间隔就等价于
求解的最大值。

将其转化为求最小值的问题，可得目标函数：
s.t

其lagrange函数为

原始问题是一个极小极大问题，即先求再求和b，其对偶问题为一个极大极小问题。而且Lagrange函数是一个凸函数，即存在极小值，通过对该函数求导，可以得到对应的极小值点的解。
从而求解该函数的步骤如下：
(1)求解

(2)将上述式子带入原始问题，原始问题转化为

约化后

s.t.

(3)原始问题转变为求解,取反
s.t.
(4)从而可以得到和b的值，即得到最大超平面，从而分类结果为

考虑到噪声的存在，提高目标函数的泛化能力，提出了软间隔最大化。
引进一个松弛变量ξ，使得函数间隔加上松弛变量之后可以大于等于1，目标函数转变为
s.t
从而实现在间隔最大的同时保证错误点最少。松弛变量可以认为是一定的错误。

即假设在不小于0的前提下小于一定的常数C，该常数可以调整margin的宽度，当C足够大时，所学习到的分类超平面可以被等价为一个线性分类器。