广义拉格朗日函数的理解（可用于SVM推导）

为了求如下约束最优问题：



引入广义拉格朗日函数：



先需要证明：



网上有的博文对（4）式的证明不容易看懂，我证明如下：

首先将

记作函数

。

1）如果

，由于

可以取任意大，因此这时函数

不可能取得最小值。因此函数

只有在

时才可能取得最小值。

2）如果

，

=

，因此（4）式两边等价。

第二步来证明：


(1)

由于原始问题和对偶问题均有最优值，所以可分别假设





那么，对于任意

下式成立，


(2)

对于任意

下式成立，


(3)

所以，


(4)

因此，(1)式成立。