线性可分svm原理详解
2017-10-21 19:46
239 查看
一、支持向量机-svm
支持向量机(supportvector machines,SVM)是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器;支持向量机还包括核技巧,这使得它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二期规划的问题。支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量机、非线性支持向量机。这里只对线性可分的原理进行详细介绍,其他两种原理都差不多。
二、问题引出
1、寻找最大间隔
上述将数据集分隔开来的直线称为分隔超平面,也就是分类的决策边界。我们希望能采用这种方式来构建分类器,即如果数据点离决策边界越远,那么其最后的预测结果也就越可信。我们希望找到离分隔超平面最近的点,确保它们离分割面的距离尽可能远。 这里点到分隔面的距离被称为间隔,我们希望间隔尽可能的大。离分隔超平面最近的那些点被称为“支持向量”。
2、平面方程的导出
3、两个平行平面之间的距离
4、建立模型
三、拉格朗日对偶问题
上式中,α_i 是拉格朗日算子。如果按这个公式求极小值会出现问题,因为我们球的是极小值,而这里的 是小于等于0的,我们可以将调整成很大的正值,来使最后的函数结果是负无穷。因此我们需要排除这种情况,我们定义下面的函数:这里P代表primal。假设 大于0 ,那么我们总可以调整α_i 来使得θ_(p(w)) 为f(w)。这里要求αi ≥0,而且求得是极大值。因此这里可以写作:
四、原始问题与对偶问题的关系
五、求解原问题的对偶问题
对上式分别对w,b求偏导,求极小值,令其=0继续化简对偶问题
重新整理对偶问题
原问题重新定义
重新理解SVM:原问题是求解w,其维度和x是一致的,现在求解α,其维度和样本数目一致的,改变了求解问题的维度。观察最优化目标函数,包含样本x的计算只有点积的形式,方便我们引入核函数。核函数也只能在对偶问题形式下引入。
六、SMO算法
相关文章推荐
- SVM原理详解
- 支持向量机SVM原理详解+白板推导
- 主成分分析(PCA)和局部线性嵌入(LEE)原理详解
- SVM原理详解
- 机器学习理解之SVM原理详解
- SVM详解(包含它的参数C为什么影响着分类器行为)-scikit-learn拟合线性和非线性的SVM
- SVM 原理详解,通俗易懂
- 分类算法----线性可分支持向量机(SVM)算法的原理推导
- SVM(support vector machine)支持向量机原理详解
- SVM-支持向量机原理详解与实践之一
- SVM分类器原理详解
- SVM-支持向量机原理详解与实践
- SVM-支持向量机原理详解与实践之二
- SVM分类器原理详解
- 图像处理中的数学原理详解11——线性空间
- SVM原理详解
- 机器学习(30)之线性判别分析(LDA)原理详解
- SVM支持向量机原理(三)线性不可分支持向量机与核函数
- SVM原理详解
- (转)Python-详解抓取网站,模拟登陆,抓取动态网页的原理和实现