SVM百家争鸣之针对大规模训练集的支持向量机的学习策略
2012-07-22 17:42
183 查看
论文的观点是从一个小规模的样本训练集训练得到一个初始的分类器,然后用这个分类器对大规模训练集进行修剪,修剪后得到一个很小的约减集,再用这个约减集进行训练得到最终的分类器。
文中有一个图很好的解释了他的算法:
![](http://my.csdn.net/uploads/201207/22/1342949048_4657.png)
其中H表示分类超平面,H+表示正样本的支持向量所处的超平面,H-表示负样本的支持向量所处的超平面。设样本中任意样本到H的距离为d,则
![](http://my.csdn.net/uploads/201207/22/1342949268_5041.png)
,如图所示。算法分三步:
1:从所有样本中随机选取一小部分样本,在这小部分样本中训练得到一个初始的分类器
2:计算所有样本中的每个样本到刚才分类器的分类超平面的距离,如果满足
![](http://my.csdn.net/uploads/201207/22/1342949268_5041.png)
,则保留此样本放进约减集,否则删除此样本。其中
![](http://my.csdn.net/uploads/201207/22/1342949709_2904.png)
由自己控制,
![](http://my.csdn.net/uploads/201207/22/1342949709_2904.png)
有两个功能:1)控制约减集的规模;2)影响最终分类器的分类精度
3:根据约减集的样本再此训练,得到最终的分类器,此约减集已经比初始样本大大减小了,但是保留了大部分的支持向量(因为我们知道,非支持向量对最终的分类超频面是没有影响的)
此文在他的数据集中表现的很好,当我认为也会有一些问题,因为一开始得到的初始分类器不一定接近真实的分类器,这样在删减样本的时候可能会删减最终的支持向量而得不到最优的训练样本。
文中有一个图很好的解释了他的算法:
![](http://my.csdn.net/uploads/201207/22/1342949048_4657.png)
其中H表示分类超平面,H+表示正样本的支持向量所处的超平面,H-表示负样本的支持向量所处的超平面。设样本中任意样本到H的距离为d,则
![](http://my.csdn.net/uploads/201207/22/1342949268_5041.png)
,如图所示。算法分三步:
1:从所有样本中随机选取一小部分样本,在这小部分样本中训练得到一个初始的分类器
2:计算所有样本中的每个样本到刚才分类器的分类超平面的距离,如果满足
![](http://my.csdn.net/uploads/201207/22/1342949268_5041.png)
,则保留此样本放进约减集,否则删除此样本。其中
![](http://my.csdn.net/uploads/201207/22/1342949709_2904.png)
由自己控制,
![](http://my.csdn.net/uploads/201207/22/1342949709_2904.png)
有两个功能:1)控制约减集的规模;2)影响最终分类器的分类精度
3:根据约减集的样本再此训练,得到最终的分类器,此约减集已经比初始样本大大减小了,但是保留了大部分的支持向量(因为我们知道,非支持向量对最终的分类超频面是没有影响的)
此文在他的数据集中表现的很好,当我认为也会有一些问题,因为一开始得到的初始分类器不一定接近真实的分类器,这样在删减样本的时候可能会删减最终的支持向量而得不到最优的训练样本。
相关文章推荐
- 在opencv3中实现机器学习之:利用svm(支持向量机)分类
- 【PR学习笔记二】【搬砖】SVM(支持向量机)基础
- 李航统计学习-支持向量机(SVM)之我的理解
- 支持向量机 SVM-学习笔记
- Spark中组件Mllib的学习29之支持向量机SVM-方法2
- 机器学习---支持向量机(SVM)算法(上)
- 【Python学习系列八】Python实现线性可分SVM(支持向量机)
- 学习SVM(二) 如何理解支持向量机的最大分类间隔
- opencv机器学习 Haar特征 LBP特征 adaboost集成学习 级联分类器 支持向量机SVM 主成分分析PCA 人工神经网络(ANN) 笑脸检测 SVM分类 笑脸 检测
- 记深入理解支持向量机SVM的学习过程(问答)
- Stanford机器学习---第八讲. 支持向量机SVM
- 机器学习(十二)学习SVM支持向量机过程中的引申
- 支持向量机(SVM)相关免费学习视频集锦
- 数据挖掘学习------------------4-分类方法-7-支持向量机(SVM)
- 深度学习*学习笔记----支持向量机SVM(3)
- OpenCv学习笔记--支持向量机SVM线性可分情况下的OpenCv实现的超详细注释(2)
- 机器学习实战教程(八):支持向量机原理篇之手撕线性SVM
- 支持向量机(SVM)学习笔记
- 我的OpenCV学习笔记(六):使用支持向量机(SVM)
- Python学习笔记之支持向量机SVM实例,及SVC参数介绍