Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)
2012-02-04 23:37
302 查看
一般地,一个最优化数学模型能够表示成下列标准形式:
所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* 必须满足下面的条件:
KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视,因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」。
KKT条件第一项是说最优点必须满足所有等式及不等式限制条件,也就是说最优点必须是一个可行解,这一点自然是毋庸置疑的。第二项表明在最优点 x*, ∇f 必須是 ∇hj和 ∇gk的线性組合,
和
都叫作拉格朗日乘子。所不同的是不等式限制条件有方向性,所以每一个
都必须大于或等于零,而等式限制条件没有方向性,所以
没有符号的限制,其符号要视等式限制条件的写法而定.
从KKT的几何意义出发这个定理还是很神奇的:
f'(x)代表了f在x点增加的方向,而要找f的最小值的那个点就要朝f减小的方向走,也就是f*v < 0的区域,成为下降域;同理,g'(x)代表了g在x增加的方向,而可行区域就是g*v < 0的区域,成为可行域;要取得最优解就要使某点的下降域与可行域交集为空,也就是f'是g_k'的线性组合了。而g_k必须是有效的,即g_k(x)=0,否则其拉氏乘数就要等于0使其其实不发挥作用。
所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* 必须满足下面的条件:
KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视,因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」。
KKT条件第一项是说最优点必须满足所有等式及不等式限制条件,也就是说最优点必须是一个可行解,这一点自然是毋庸置疑的。第二项表明在最优点 x*, ∇f 必須是 ∇hj和 ∇gk的线性組合,
和
都叫作拉格朗日乘子。所不同的是不等式限制条件有方向性,所以每一个
都必须大于或等于零,而等式限制条件没有方向性,所以
没有符号的限制,其符号要视等式限制条件的写法而定.
从KKT的几何意义出发这个定理还是很神奇的:
f'(x)代表了f在x点增加的方向,而要找f的最小值的那个点就要朝f减小的方向走,也就是f*v < 0的区域,成为下降域;同理,g'(x)代表了g在x增加的方向,而可行区域就是g*v < 0的区域,成为可行域;要取得最优解就要使某点的下降域与可行域交集为空,也就是f'是g_k'的线性组合了。而g_k必须是有效的,即g_k(x)=0,否则其拉氏乘数就要等于0使其其实不发挥作用。
相关文章推荐
- Karush-Kuhn-Tucker 最优化条件 (KKT 条件)
- 关于Karush-Kuhn-Tucker(KKT)条件的几何分析
- 拉格朗日对偶和KKT条件(Karush-Kuhn-Tucker)
- Lagrange Multiplier and KKT(Karush-Kuhn-Tucker)
- SVM中的Karush-Kuhn-Tucker条件和对偶问题
- KKT(Karush-Kuhn-Tucher)条件
- SVM中的Karush-Kuhn-Tucker条件和对偶问题
- SVM中的Karush-Kuhn-Tucker条件和对偶问题
- KKT条件--约束问题最优化方法
- 转载-深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
- 深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件 (转载)
- 拉格朗日乘子和KKT条件 的最优化问题
- bash方便的条件语句(转载)
- 深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件(KarushKuhnTucker)
- KKT条件介绍
- 机器学习笔记_ 数值最优化_1:最优化条件
- [笔记] 最优化方法 - 最优性条件
- 自己在libSvm中SMO算法中KKT条件的理解误区(还不确定)
- SVM中的拉格朗日乘数法和KKT条件的深入解析
- 人工智能里的数学修炼 | 约束问题的优化求解:拉格朗日乘子法、KKT条件与对偶问题