Karush-Kuhn-Tucker 最优化条件 (KKT 条件)

一般地，一个最优化数学模型能够表示成下列标准形式：

所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最小点 x* 必须满足下面的条件：



KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker 发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)」。



KKT条件第一项是说最优点必须满足所有等式及不等式限制条件，也就是说最优点必须是一个可行解，这一点自然是毋庸置疑的。第二项表明在最优点 x*， ∇f 必須是 ∇hj 和 ∇gk 的线性組合，

和

都叫作拉格朗日乘子。所不同的是不等式限制条件有方向性，所以每一个 kµ都必须大於或等於零，而等式限制条件没有方向性，所
以 jλ没有符号的限制，其符号要视等式限制条件的写法而定

备注：该条件是SVM中需要到，处理不等式约束，把它变换成一组等式约束。