逻辑回归及其数学推导

本文只讨论二分类的情况

一、逻辑回归

P(Y=1|X=x)=ewTx1+ewTx=h(x)P(Y=0|X=x)=11+ewTx=1−h(x)logP(Y=1|X=x)P(Y=0|X=x)=wTx

二、参数估计（极大似然估计）

似然函数：

l(w)=∏i=1nh(xi)yi(1−h(xi))1−yi

对数似然函数：

L(w)=∑i=1n(yilogh(xi)+(1−yi)log(1−h(xi)))=∑i=1n(yiwTxi−yilog(1+ewTxi)+(yi−1)log(1+ewTxi))=∑i=1n(yiwTxi−log(1+ewTxi))

可以证明L(w)是关于w的凸函数，有最大值，证明如下：

令f(w)=ywTx−log(1+ewTx)

∂f(w)∂w=yx−ewTx1+ewTx

∂2f(w)∂w∂wT=−xewTxxT(1+ewTx)2=−ewTx(1+ewTx)2xxT

∀非零向量z，zT(xxT)z=zTx(zTx)T≥0,又因为ewTx(1+ewTx)2>0，所以∂2f(w)∂w∂wT是半负定矩阵，即f(w)是关于w的凸函数，有最大值。

对数似然函数对向量w求导，可得：

∂L(w)∂w=∑i=1n(yixi−ewTxi1+ewTxixi)=∑i=1n(yi−ewTxi1+ewTxi)xi=∑i=1n(yi−h(xi))xi

BGD求解：

注意此处w是向量

w=w+λ∑i=1n(yi−h(xi))xi

SGD求解：

w=w+λ(yi−h(xi))xi

MBGD求解：

假设每次使用b个样本

fori=1,1+b,1+2b,...

w=w+λ∑k=ii+b(yi−h(xi))xi