为什么拉格朗日对偶函数一定是凹函数(逐点下确界)

转载请注明出处：http://mp.blog.csdn.net/mdeditor

相信很多学习支持向量机（SVM）的同学第一次看到对偶理论时会感觉比较难理解，我打算从这篇文章开始，通过解决对偶理论中的一些难点问题说明对偶理论。

本文讲解：为什么拉格朗日对偶函数一定是凹函数

一、问题描述

首先以不严谨的方式给出标准形式的优化问题（具体请参考《凸优化》——Boyd，第五章），：



然后给出拉格朗日函数：


（公式1）

最后给出对偶函数：


（公式2）

我们要证明的是下面的命题：

命题：拉格朗日对偶函数一定是凹函数，且其凹性与最优化函数和约束函数无关。

说明：上述两个公式中，

表示的是m维向量

的第i个分量，而后面的

表示的是

的一个具体值，是一个向量。

二、证明

证明：

要证对偶函数一定是凹函数，根据凹函数的定义，就是要证


（公式3）

根据对偶函数的定义可知，对偶函数是拉格朗日函数在把

和

当做常量，

变化时的最小值，如果拉格朗日函数没有最小值（可以认为最小值为-∞)，则对偶函数取值为-∞，所以，可以把对偶函数按照下面的方式表达：


（公式4）

即无穷多个x变化时，拉格朗日函数的最小值。

另外，由于把

和

分开来写，式子太长了，为了简便，记

，接下来证明（公式3）：


（公式5）


（公式6）


（公式7）


（公式8）

至此，（公式3）得证，所以原命题得证。

证毕.

三、解释证明过程

接下来，解释一下这个证明：

（公式5）到（公式6）是因为

中

的值已固定，所以

和

都应该看做常数，所以此时的

是

的仿射函数，而仿射函数是既凸且凹的，对（公式5）右边中的每一个拉格朗日函数都是用其凹性，就可以得到公式6.

而从（公式6）到（公式7）运用的是一个简单的数学原理：

设有两个实数集合a和b:



则对于所有的 i , j 有：



（公式7）到（公式8）由公式4可得。

最后通过图像来解释



上图中，每条直线表示的是一个

。假想有一条平行于上图中y轴方向的直线，这条直线沿着x轴方向平移，这条直线与上图中所有的

相交，这些交点的最小值（y轴方向的值，因为y轴方向对应于

的值，x轴方向对应于每一个xi）就是

，也就是（公式4）要表达的意思。

由于这条直线每到一处，就对应于一个xi，从而逐点逐点地获得

，所以就称对偶函数是一族关于

的仿射函数的逐点下确界

错漏之处热烈欢迎各位批评指正，如需详细讨论可发送邮件至我的邮箱:cyhdmj@aliyun.com