《统计学习方法》笔记（十一）--SMO

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法，是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题，即两个变量的二次规划，来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解，这样就可以提高计算速度。

SMO包含两个部分：求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量，以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化，第二个变量选择变化足够大的那个，具体的说就是|E1-E2|最大的