最优间隔分类器(一)
2017-12-27 11:55
323 查看
通过前三章的讨论,当我们拿到一给定数据集时第一要务是寻找一条分界线时分界线两边的点到线的(几何)间隔最大,达到这一要求即认为这是个好的分类器。这样的分类器会在正负样本间画出一个断层(几何间隔)。
现在我们又一个线性可分的训练集(即存在一超平面将正负样本分开),如何找到有最大几何间隔的分类器呢?用数学语言描述该问题:
maxγ,w,bs.t.γy(i)(wTx(i)+b)≥γ,i=1,⋯,m∥w∥=1.
我们要最大化数据集的最小几何间隔γ,该间隔小于等于数据集中所有点几何间隔。解决这个问题就是确定一组(w,b)使得几何间隔最大。需要注意∥w∥=1是一个非凸约束,标准的最优化方法难以解决,我们需要转换成更易求解的形式:
maxγ,w,bs.t.γ^∥w∥y(i)(wTx(i)+b)≥γ^,i=1,⋯,m
现在我们要优化这个参数γ^/∥w∥,且保证所有样本函数间隔都小于γ^。通过公式转化我们摆脱了∥w∥=1的条件要求,但是γ^/∥w∥依然是一个非凸目标函数还需继续转换。之前我们提到通过缩放(w,b)可以改变γ^的值,我们现在令γ^=1,那么γ^/∥w∥=1/∥w∥,又1/∥w∥的最大值就是∥w∥2的最小值,公式改写为:
maxγ,w,bs.t.12∥w∥2y(i)(wTx(i)+b)≥1,i=1,⋯,m
至此问题转化为一个凸二次目标函数在线性约束下的求解问题。求解的结果就是最优间隔分类器。最优分类器的第一部分即到此为止,接下来我们会讨论拉格朗日对偶性,这可以帮助推导问题的对偶形式,转化为对偶形式后就可使用核方法将样本映射到高维空间,大大提高模型的可用性。
现在我们又一个线性可分的训练集(即存在一超平面将正负样本分开),如何找到有最大几何间隔的分类器呢?用数学语言描述该问题:
maxγ,w,bs.t.γy(i)(wTx(i)+b)≥γ,i=1,⋯,m∥w∥=1.
我们要最大化数据集的最小几何间隔γ,该间隔小于等于数据集中所有点几何间隔。解决这个问题就是确定一组(w,b)使得几何间隔最大。需要注意∥w∥=1是一个非凸约束,标准的最优化方法难以解决,我们需要转换成更易求解的形式:
maxγ,w,bs.t.γ^∥w∥y(i)(wTx(i)+b)≥γ^,i=1,⋯,m
现在我们要优化这个参数γ^/∥w∥,且保证所有样本函数间隔都小于γ^。通过公式转化我们摆脱了∥w∥=1的条件要求,但是γ^/∥w∥依然是一个非凸目标函数还需继续转换。之前我们提到通过缩放(w,b)可以改变γ^的值,我们现在令γ^=1,那么γ^/∥w∥=1/∥w∥,又1/∥w∥的最大值就是∥w∥2的最小值,公式改写为:
maxγ,w,bs.t.12∥w∥2y(i)(wTx(i)+b)≥1,i=1,⋯,m
至此问题转化为一个凸二次目标函数在线性约束下的求解问题。求解的结果就是最优间隔分类器。最优分类器的第一部分即到此为止,接下来我们会讨论拉格朗日对偶性,这可以帮助推导问题的对偶形式,转化为对偶形式后就可使用核方法将样本映射到高维空间,大大提高模型的可用性。
相关文章推荐
- 最优间隔分类器(Optimal margin classifiers)
- 【斯坦福---机器学习】复习笔记之最优间隔分类器
- 吴恩达机器学习之最优间隔分类器
- 机器学习-斯坦福:学习笔记7-最优间隔分类器问题
- 最优间隔分类器-SVM
- SVM-3-最优间隔分类器
- 最优间隔分类器问题
- 支持向量机SVM(一):支持向量机SVM的推倒:从logistic回归,到函数间隔,集合间隔,到寻找最优间隔分类器。
- 最优间隔分类器与SVM
- Andrew Ng - SVM【1】最优间隔分类器
- 砥志研思SVM(一) 最优间隔分类器问题(上):硬间隔SVM
- 机器学习7最优间隔分类器问题
- 砥志研思SVM(三) 最优间隔分类器问题(下):软间隔SVM
- [置顶] 最优间隔分类器、原始/对偶问题、SVM的对偶问题——斯坦福ML公开课笔记7
- 第七集 最优间隔分类器问题
- CS229-Lesson7最优间隔分类器
- The optimal margin classifier 最优间隔分类器
- 第七集 最优间隔分类器问题
- 【七】最优间隔分类器问题
- 公开课机器学习笔记(12)支持向量机二 最优间隔分类器