SVM与Logistic回归的关系

合页损失函数

[z]+={z,z>00,z≤0

SVM的目标函数

对于线性SVM，我们知道它的原始最优化问题为：

minw,b,ξ1/2||w||2+CΣNi=1ξis.t.yi(w⋅xi+b)≥1−ξi,i=1,2,...,Nξi≥0,i=1,2,...,N

对于原始优化问题，当yi(w⋅xi+b)≥1时，数据点落在了间隔边界正确的一侧，这时ξi为0，而当yi(w⋅xi+b)<1的时候，这时ξi=1−yi(w⋅xi+b).

因此，SVM的优化问题可以转化为最优化以下问题：

minw,bΣNi=1[1−yi(w⋅xi+b)]++λ||w||2

其中，λ=(2C)−1

Logistic的目标函数

对于logistic回归，我们知道sigmoid函数的形式为

f(a)=11+exp{−(w⋅x+b)}=11+exp(−a)

其中a=w⋅x+b

sigmoid函数的性质：

对称性：f(−a)=1−f(a)

∂f∂a=f(1−f)

应用极大似然函数估计模型参数，首先构造似然函数，我们知道logistic回归模型为p(y=1|x)=π(x),p(y=0|x)=1−π(x)，则似然函数为：

Z=ΠNi=1[π(xi)]yi[1−π(xi)]1−yi

取似然函数的负对数得到误差函数，这个误差函数就是交叉熵（cross-entropy）误差函数：

L1=−lnZ=−ΣNi=1[yilogπ(xi)+(1−yi)log(1−π(xi))]

去掉前面负号不影响优化问题，则：

L2=ΣNi=1[yilogπ(xi)+(1−yi)log(1−π(xi))]

在处理logistic回归时，为了比较方便，我们对目标变量y∈{0,1}进行操作，使用目标函数y∈{−1,1}重写最大似然logistic函数。我们知道，p(y=1|a)=f(a)，p(y=−1|a)=1−f(a)=f(−a)，根据sigmoid函数的对称性质，我们有：

p(y|a)=f(ay)=11+exp(−ay)

从上式子中通过对似然函数取负对数构造一个带正则化项的误差函数：

L=ΣNi=1ln(1+exp(−aiyi))+λ||w||2

把最终式换回去：

minw,bL=ΣNi=1ln(1+exp(−(w⋅xi+b)yi)+λ||w||2

和SVM作对比：

minw,bΣNi=1[1−yi(w⋅xi+b)]++λ||w||2

因此，SVM和Logistic回归有相似的目标函数

附加：

logistic回归与最大熵模型的关系