凸优化笔记
2016-05-04 23:17
330 查看
基本概念
凸优化问题具有如下形式:minf0(x)subjecttofi(x)≤bi,i=1,...,m其中,函数f0,...,fm:Rn→R为凸函数,即对任意x,y∈Rn,α,β∈R且α+β=1,α≥0,β≥0这些函数满足fi(αx+βy)≤αfi(x)+βfi(y)
凸优化的常见的特殊形式有:最小二乘问题和线性规划问题。
最小二乘问题是这样一类优化问题,它没有约束条件(即m=0),目标函数是若干项的平方和,每一项具有形式xTia−yi,具体形式如下:
minf0(x)=||Xa−Y||22=∑i=1i=K(xTi−yi)2其中,X∈Rk∗n(k≥n),xTi是矩阵X的行向量,向量a∈Rn是优化变量。
在多输入多输出中,yi=a1ix1+a2ix2+...+anixn或yT=xTA其中,yT=[y1,...,yp],xT=[x1,...,xp]T
A=⎡⎣⎢a11...ap1............a1n...apn⎤⎦⎥
设输入输出的第i次观测值为xT(i),yT(i),i=1,...,k.若记Y=[y(1),...,y(k)]T,A=[a1,...,an]T
X=⎡⎣⎢x1(1)...x1(k)............xp(1)...xp(k)⎤⎦⎥
XA=YX是k*p的矩阵,Y是k*p矩阵,当上述方程无解时,问题就转化为求矛盾方程组的最小二乘解,即求A使下列非负定矩阵达到最小J(A)=(Y−XA)T(Y−XA)=min
凸优化算法
无约束优化问题
优化的目的是求出使目标函数F(x)最小化的x的值,所有将要讨论的算法为迭代的。首先,给定一个初始猜测值X0,然后按照等式Xk+1=Xk+αkPk逐步修改猜测,根据搜索方向Pk的不同可以得到不同的算法,其中大于零的学习率αk也有不同的确定方法。
最速下降算法
Xk+1=Xk−αkgk这里,gk=∇F(x)|X=Xk稳定学习速度(αk=α,常数)α<2λmax这里{λ1,λ2,...,λn}为赫森矩阵A的特征值
沿直线Xk+1=Xk+αkPk的最小化的学习速度
αk=−gTkPkPTkAPk(用于二次函数)
牛顿法
Xk+1=Xk−A−1kgk其中,Ak=∇2F(X)|X=Xk共轭梯度算法
∇Xk=αkPk沿直线Xk+1=Xk+αkPk的最小化确定学习速度αk,P0=−g0Pk=−gk+βkPk−1βk=δgTk−1gkδgTk−1Pk−1
等式约束优化
不等式约束优化
不等式优化的问题形式minw f(w)s.t.gi(w)≤0,i=1,...,khi(w)=0,i=1,...,l
1.引入拉格朗日函数
L(w.α,β)=f(w)+∑αigi(w)+∑βihi(w)上式与原优化问题不等价,下面步骤2解决这个问题。
2.构造与原问题等价的极小极大拉格朗日函数θp(w)=maxα,β:α≥0 L(w,α,β)=⎧⎩⎨f(w),∞,if w satisfies primal constraintsotherwise.
这样原问题中的min f(w)可以转化为求minw θp(w)=minw maxα,β:αi≥0 L(w,α,β)如果直接求解上述问题,则先是求max需要考虑两个参数α,β且αi≥0为不等式条件,不易求解,则引进上式的对偶式。
3.拉格朗日对偶式minw maxα,β:αi≥0 L(w,α,β)=maxα,β:αi≥0 minw L(w,α,β)将原问题转换为其对偶问题,只是交换了min和max的顺序,而一般交换顺序后的结果为max min(x)≤min max(x).而此处两者是相等的,因为w∗,α∗,β∗满足KKT条件,下面具体说明。
假设函数f(w)和gi(w)是凸函数,hi(w)是放射函数,并且不等式约束gi(w)是严格可行的,则w∗,α∗,β∗是原始问题和对偶问题的解的充分必要条件是,w∗,α∗,β∗满足KKT条件:∂wL(w∗,α∗,β∗)=0∂αL(w∗,α∗,β∗)=0∂βL(w∗,α∗,β∗)=0α∗igi(w∗)=0,i=1,2,...,kgi(w∗)≤0,i=1,2,...,kαi≥0,i=1,2,...,khj(w∗)=0,j=1,2,...,l其中,α∗igi(w∗)=0,i=1,2,...,k为对偶互补条件,若α∗i>0,则gi(w∗)=0.
参考文献
1.李航,统计学习方法2.http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html
3.
相关文章推荐
- 最小二乘法
- 优化之牛顿法
- 牛顿法求解柯西分布参数的最大似然估计(P055)
- 投影矩阵与最小二乘
- 最小二乘回归
- 无约束优化方法简介
- 牛顿法
- 从对偶问题到KKT条件
- [first order method] Proximal Gradient Descent
- 线性回归(Linear regression)及其相关问题
- Jacobian矩阵,Hessian矩阵和牛顿法
- 最小二乘法拟合多项式原理以及c++实现
- 人脸姿态估计浅谈~
- 无约束问题的最优化方法
- 一元线性回归模型与最小二乘法及其C++实现
- 牛顿法开方原理及代码
- 牛顿法与拟牛顿法学习笔记(一)牛顿法
- 最小二乘法原理及极值点判定
- 机器学习基础(六十)—— 凸优化
- 仿射变换OpenCV实现的最小二乘优化