拉格朗日对偶,KKT,SVM
2016-01-08 00:02
330 查看
机器学习通常转化为数学规划问题,拉格朗日对偶是求解带有约束的凸规划的一个重要的技巧。这篇文章从先从理论的角度,介绍拉格朗日对偶的基本思想,在从支持向量机的推导上,应用上面提及的定理。
对于上面的问题,原问题是一般的数学规划,此时并不要求目标函数和约束中为凸函数。对于任意的数学规划,如问题P,都会存在一个和其息息相关的数学规划D,D的构造试图引入u,v,将约束加入到目标函数中,从而使得约束条件减少到只有的x属于X。其中D 问题成为原问题的拉格朗日对偶问题。注意在D问题中,有两个层面的优化,里面的优化是针对于x,外面的针对对偶变量u,v。
为什么要建立这么形式的D问题呢?
http://blog.csdn.net/wangkr111/article/details/2117080 这篇博客说明这个问题。
上面的条件是一个比较宽泛的条件,例如像SVM的二次优化问题,通过建立拉格朗日对偶函数,对其而不是原问题进行求解,可以将原来的带有N个约束的最优化问题,转变为简单的约束的二次规划问题。从而进行求解。关于这一点会在SVM推导中详细说明这一点。(SVM将原先ill-posed的二次规划转变为简单的二次规划,并使用的快速的算法SMO求解。)
1,问题定义
对于上面的问题,原问题是一般的数学规划,此时并不要求目标函数和约束中为凸函数。对于任意的数学规划,如问题P,都会存在一个和其息息相关的数学规划D,D的构造试图引入u,v,将约束加入到目标函数中,从而使得约束条件减少到只有的x属于X。其中D 问题成为原问题的拉格朗日对偶问题。注意在D问题中,有两个层面的优化,里面的优化是针对于x,外面的针对对偶变量u,v。
为什么要建立这么形式的D问题呢?
http://blog.csdn.net/wangkr111/article/details/2117080 这篇博客说明这个问题。
2.解存在的条件定理
下面的强对偶定理,说明了只有在特殊的f,g为凸函数,h为仿射函数,X为凸集时,上面定义的原问题和对偶问题最优解之间的关系。定理说明了,满足上面条件的凸规划,其拉格朗日对偶函数,两者的最优解相等。定理告诉我们使用拉格朗日技巧的一个界限,界限是指当不满足上面的约束时,使用拉格朗日对偶并不能求解原问题,而从对偶求出的解仅仅作为原问题的上界存在(弱对偶定理)。上面的条件是一个比较宽泛的条件,例如像SVM的二次优化问题,通过建立拉格朗日对偶函数,对其而不是原问题进行求解,可以将原来的带有N个约束的最优化问题,转变为简单的约束的二次规划问题。从而进行求解。关于这一点会在SVM推导中详细说明这一点。(SVM将原先ill-posed的二次规划转变为简单的二次规划,并使用的快速的算法SMO求解。)
3.最优解与KKT Condition之间的关系。
KKT Condition是带有约束最优化的一个重要的条件。利用KKT Condition可以在求解出的拉格朗日对偶函数最优解后,来求出原题的最优解。下面的定理说明在f,g为凸函数,h为仿射函数,X为凸集时,KKT Condition和拉格朗日函数的最优解之间存在一一对应的关系。4. SVM的推导:
相关文章推荐
- LSI SVM 挑战IBM SVC
- 支持向量机(SVM)算法概述
- 对SVM的认识
- SVM对手写数字的识别
- 使用深度卷积网络和支撑向量机实现的商标检测与分类的例子
- [转载]用opencv实现svm
- Learning to ranking简介
- 结构风险最小和VC维理论的解释
- SVM学习
- OpenCV之CvANN_MLP和CvSVM测试
- Matlab中的多类别分类
- svm代码c++——机器学习
- svm支持向量机
- SVM的特点
- Matlab下一个SVM例子
- Hog SVM 车辆识别
- 基于SIFT特征和SVM的图像分类
- 阅读笔记之:Multimodal learning in Loosely-organized web images-CVPR2014
- SVM(Support Vector Machine)
- PCA + SVM 人脸识别