机器学习——支持向量机SVM之核函数

1、在现实任务中，原始样本空间也许不存在一个能正确划分两类样本的超平面，虽然“软间隔”概念的引入在一定程度上缓解了该问题，但是当样本分布的非线性程度很高的时候，“软间隔”也无法解决这一问题



2、对于这类问题，SVM的处理方法是选择一个核函数，其通过将数据映射到更高维的特征空间（非线性映射），使得样本在这个特征空间内线性可分，以解决原始空间中线性不可分的问题

3、建立非线性学习器模型： 


    a) 使用非线性映射将数据变换到新的特征空间中

    b) 在这个特征空间中，数据线性可分，可用线性学习器进行学习分类

4、优化目标：


5、对偶问题：


6、对偶问题的解决涉及 

 的计算，这是样本 

 和 

 映射到特征空间之后的内积，而特征空间的维数通常很高，乃至无穷维，因此直接计算通常是困难的。

    a) 引入核函数：

，将高维内积转化为在原始空间中通过核函数计算

    b) 重写对偶问题：


7、求解后得 


8、Mercer定理：令 

 为输入空间， 

 是定义在 

 上的对称函数，则是核函数当且仅当对于任意数据，“核矩阵”K总是半正定的



9、Mercer定理表明为了证明 

 是有效的核函数，那么我们不用去寻找 

 ，而只需要在训练集上求出各个 

 ，然后判断矩阵K是否是半正定（使用左上角主子式大于等于零等方法）即可。

10、在不知道特征映射的形式时，我们并不知道什么样的核函数是合适的，而核函数也仅隐式地定义了这个特征空间，于是“核函数选择”称为支持向量机最大的变数

    a) 线性核： 


    b) 多项式核： 


    c) 高斯核： 


    d) 拉普拉斯核： 


    e) sigmoid核： 


11、核函数还可通过函数组合获得

    a) 线性组合： 


    b) 直积： 


    c)