《统计学习方法》笔记（7）：支持向量机

支持向量机以感知机为基础，两块内容最好结合来看，便于理解。本文首先介绍支持向量机的原理和重要概念，然后分析其应用场景以及优缺点。

 

1、什么是支持向量机？

支持向量机是采用最优分离超平面将样本分为不同类别的二分类模型。最优分离超平面的表达式可写作：

，分类决策函数为

。

其中的关键词是：最优分离超平面（不同于感知机中的“分离超平面”）、二分类。同时注意理解与最分离超平面相关的“函数间隔”、“几何间隔”概念。

 

2、线性可分和线性不可分问题的求解？

线性支持向量机既可以解决线性可分问题，又可以解决线性不可分问题。

对于线性可分问题，其目标函数为：

，约束条件为：


。

对于线性不可分问题，通过引入松弛变量ζ和惩罚因子C，容忍模型有一定量的误分类。对应目标函数为：


，约束条件为：

。

 

3、非线性问题求解的基本思想？

通过将原空间中的非线性数据集映射到新空间，使之在新空间中线性可分；从而可在新空间中采用线性分类学习方法训练模型，解决分类问题。

关于映射的概念可以这样理解：(x1)^2+(x2)^2=36在x1、x2所构成的二维空间中是非线性曲面（圆）；设z1=(x1)^2、z2=(x2)^2，则该曲面可以映射为z1+z2=36，在z1、z2所构成的二维空间中是线性曲面（直线）。

 

4、什么是对偶和核技巧？

就不在这里列对偶的公式了，可以这样来理解对偶：用新的参数α来表示原来的参数w和b。应用对偶的好处在于：1）对偶表达式的迭代方程更加简洁，便于求解；2）对偶表达式中的内积形式可直接替换为核函数，进而将SVM推广到非线性问题的求解。

 

5、应用场景和优缺点

应用场景：SVM非常优秀的线性分类器，通过应用核技巧SVM还可以解决非线性问题。该模型可应用于文本分类等各种分类问题。

其优点是模型的分类性能优良，模型建立好之后分类的速度很快。缺点是无法增量训练，即不适用与训练数据集频繁变化的场景；同时，SVM的核函数选择和参数的调整难度较高，也是限制其应用的原因。

 

学习SVM就会发现有相当多的数学概念需要理解，本文尽量抛开这些数学概念，采用相对简明和容易理解的方式进行阐述。