逻辑回归 logistic regression 代价函数导数求解过程

在学习机器学习的课程中，逻辑回归的对数似然函数为

J(θ)=−1m∑mi=1yilog(hθ(xi))+(1−yi)log(1−hθ(xi))

对于多元线性模型，其中θTx可以表示为：

θxi:=θ0+θ1xi1+⋯+θpxip.

θ0可以看作阈值的大小。大于阈值的分为一类，小于阈值的分为一类。

对h(x)进行归一化，

g(x)为sigmoid函数：g(z)=11+e−z

hθ(x)=g(θTx)

取h(x)的对数：

loghθ(xi)=log11+e−θxi=−log(1+e−θxi),

log(1−hθ(xi))=log(1−11+e−θxi)=log(e−θxi)−log(1+e−θxi)=−θxi−log(1+e−θxi),

由于归一化的函数为非凸函数，因此无法使用梯度下降，我们使用极大似然方法估计模型参数。

假设若为二分类，可以设

P(y=1|hi)=hθ(xi)

P(y=1|hi)=1−hθ(xi)

似然函数可以表示为：

∏mI=0hθ(xi)yI[1−hθ(xi)1−yI]

取对数，有

J(θ)=−1m∑mi=1yilog(hθ(xi))+(1−yi)log(1−hθ(xi))

J(θ)=−1m∑mi=1[−yi(log(1+e−θxi))+(1−yi)(−θxi−log(1+e−θxi))]

J(θ)=−1m∑mi=1[yiθxi−θxi−log(1+e−θxi)]

J(θ)=−1m∑mi=1[yiθxi−log(1+eθxi)]

其中的部分可以进一步化简：

−θxi−log(1+e−θxi)=−[logeθxi+log(1+e−θxi)]=−log(1+eθxi).

求偏导数：

∂∂θjyiθxi=yixij,

∂∂θjlog(1+eθxi)=xijeθxi1+eθxi=xijhθ(xi),

最后可得，

∂∂θjJ(θ)==−1m∑mi=1xij[yi−hθ(xi)]