SVM的kkt条件和对偶问题。

KKT条件。用于解决不等式优化问题提出的条件。

https://www.zhihu.com/collection/164818780

目标优化函数:minf(x)，约束条件为g(x)<=0：

根据KKT条件，原问题转化为：

{

L(x, u) = f(x)+u*g(x)

u>=0

}

根据拉格朗日乘数法解得（KKT条件列表如下）：

{

af(x)/a(x)+u*(ag(x)/a(x))=0

u*g(x)=0   //与常规等式约束不同的，在于此公式的存在。

u>=0

}

拉格朗日对偶性以及SVM的对偶问题：

首先：将L(x,u)转化为广义拉格朗日的极大值极小值问题：

其中

{

min f(x)，g(x)<=0

L(x，u) = f(x) + u*g(x)

}

当max(u>=0,u)L(x,u) =f(x)

则原问题min(x)f(x) （等价于）min(x)max(u>=0,u)L(x, u)

根据已知推论： max(u>=0,u) min(x) L(x,u)<=min(x)max(u>=0,u)L(x, u)

当 约束条件g(x)为凸函数时候，上式两端相等，所以min-max可以转化为max-min问题的求解。

这就是对偶问题的转化。地址：http://blog.csdn.net/lcj1105/article/details/50053499

9da8