针对《SVM八股简介》的总结

针对《SVM八股简介》的总结

一

1、优点：解决小样本、非线性、高维模式识别中表现出优势，并能够推广应用到函数拟合

2、基于VC维理论和结构风险最小原理，在模型复杂性（训练样本的学习精度，）和学习能力（识别新样本的能力）之间寻求最佳折衷

3、SVM解决问题和样本的维数是无关的

4、经验风险Remp(w)：样本数据的分类的结果与真实结果之间的差值。但是存在样本集数据100%，但是对新数据错误率极高的情况。记住了每个样本点，实际上反而泛化能力变差。

5、真实风险R(w)：在选定拟合模型后，对任意样本得到的真实误差。仅在经验风险逼近真实风险的时候，经验风险最小化作为目标才有意义。

6、置信风险Ф(n/h)：多大程度上可信任分类器预测新数据的结果。这提供了一个范围而不是精确值，使得整个误差有了上界。样本越大，置信风险越小，VC维越大，置信风险变大。

7、泛化误差界公式：R(w)≤Remp(w)+Ф(n/h)

8、结构风险：Remp(w)+Ф(n/h)，SVM的目标为结构风险最小

9、核函数（上升维度）+松弛变量（解决离群点）来处理线性不可分情况。

二

1、超平面：空间上一个线性函数（点、直线、平面等等）

2、线性函数g(x)=wx+b。w为n维向量、w是二维向量。g(x)=0为超平面表达式

3、是实值函数（函数值是连续的实数），通过阀值转换为离散结果, 类似sgn[g(x)];

三

1、不适定问题：有一个以上的解。比如此处的超平面。通过分类间隔这个指标寻求最优解

2、数据（训练样本）格式：class feature1：value1 feature2：value2 feature3：value3…

3、|wx+b|叫做间隔，但存在改变w、b导致间隔无限大的情况。故加入范数变为几何间隔。

即为x到超平面的距离。

4、||w||为范数，即向量长度的度量。2-范数为sqrt(x^2+b^2….)

5、几何间隔与样本的误分次数存在关系：误分次数。前者为所有xi中向量长度最长的值R=||xi||。后者为本集合到分类面的间隔。误分次数代表着误差，其上界由几何间隔决定。

四

1、我们的目标是最大化几何间隔。常用的方法固定间隔（1），目标：min||w||

2、约束函数：yi[(w·xi)+b]≥1。所有的点必须在间隔（1）之外。否则|w||=0毫无意义

PS：几何间隔与间隔和||w||有关。固定间隔后，才可以筛选合适的w。

五

1、求最小值是一个优化（规划）问题。由目标函数，约束条件组成。重点在于最优点位置

2、可行域上的点，可以将所有约束条件都变为等式。这些点也叫支持向量

3、凸集：一个点集，其中任意两点相连，连线上的点依旧在集合内部

4、线性分类器的问题，以w为自变量。由此转换成了凸二次规划问题。

5、凸二次规划问题，存在最优解！只是算法不同，寻找这个解得速度不同。

6、但是，我们并不知道怎么解决带不等式约束的二次规划问题。所以必须将不等式问题转化为等式问题

六

1、我们的目标是求解g(x)=wx+b,中的w。

2、w由样本决定，表示w=a1x1+a2x2+a3w3…..，ai也叫拉格朗日乘子

3、w不仅跟样本位置有关，还和其类别有关。故w=a1y1x1+a2y2x2+a3y3w3….

4、w中的拉格朗日乘子，只有很少一部分不等于0，这部分真正影响w。且这部分ai身后的xi,yi均落在正负两边的分界线上。

5、拉格朗日乘子法：等式约束用一个系数与目标函数写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。.

6、KKT条件：遇到不等式约束的情况，同样把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过三个条件，可求出最优值的必要条件

a. 目标函数+约束函数对x求导为零；

b. 等式约束函数等于0

c. a*不等式约束等于 0，意思是a=0或不等式约束函数等于0

7、梯度，类似导数。为多元函数的偏导数集合

8、，w变成了ai，这少去了很多不等式约束

七 核函数

1、若分割面非线性，则通过转换进行升维度

2、核函数，接收低维x,w，转化为高维x’,w’,

3、判断函数为核函数的充要条件：核函数矩阵为半正定

4、径向核函数是一种比较好的核函数

八 松弛变量

1、容错性：在故障存在的情况下计算机系统不失效，仍然能够正常工作的特性。

2、硬间隔：强行考虑所有的样本点，必须满足约束条件

3、软间隔：离群点会增大||w||并使约束无法满足。为了约束通过增大||w||人为接收离群点

4、松弛变量：a、与惩罚因子相乘来弥补||w||,也使约束函数能够接纳离群点

5、惩罚因子：常量！反应对于离群点的影响系数

6、核函数解决主要问题，惩罚因子针对顽固样本点进行调试优化

7、C、w的确定是个不断调试的过程

九 松弛变量

1、因为正负两级样本数、集中度、分布的不同，给正负极的离群点不同的惩罚因子。比如整500，负数1000。则C+：C-=2:1

十 多类分类

1、把空间划分为多个区域，但是计算量太大

2、一对其余，出现上一节的样本量相差太大

3、一对一，一个类为正，一个为负。其余不管。这个效率较高

4、DAG

5、复杂度