支持向量机的理解

首先，d=2/||w||转换为求最小化f(w)=||w||^2/2，||w||^2因为||w||=w^1/2*w^1/2,所以平方好求解。



解释：公式中的w向量是支持向量x的法向量，所以与x的维度一样的，假如在三维空间，w=(w1,w2,w3),那么支持向量也是3维的，目标函数是min(w1^2+w2^2+w3^2)/2是个凸函数，受限于yi(w1xi1+w2xi2+w3xi3+b)>=1

拉格朗日乘子法



拉格朗日乘子的由来



上图椭圆与曲线相切点就是最优点，椭圆和曲线在该点的梯度值是相反的且相差的倍数为拉格朗日乘子数可以反推出拉格朗日乘子法。