Softmax代价函数求导过程

Cost Function

参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：

J(θ)=−1N∑i=1m∑j=1k⎛⎝I(y(i)=k)logeθTjx(i)∑kl=1eθTjx(i)⎞⎠(1.1)

有：

J(θ)==−1N∑i=1m∑j=1k(I(y(i)=k)(logeθTjx(i)−log∑l=1keθTjx(i)))−1N∑i=1m⎛⎝∑j=1kI(y(i)=k)logeθTj−∑j=1kI(y(i)=k)log∑l=1keθTjx(i)⎞⎠(1.2)(1.3)

其中，（1.3）中，大括号第二项，有：

f===∑j=1kI(y(i)=k)log∑l=1keθTjx(i)(其中，log∑l=1keθx独立于j)log∑l=1keθTjx(i)∑j=1kI(y(i)=k)(求和号重新分组)log∑l=1keθTjx(i)(k互斥成立，∑j=1kI(y(i)=k)=1)(1.4)

由式（1.3），（1.4）：

J(θ)=−1N∑i=1m⎛⎝∑j=1kI(y(i)=k)logeθTjx(i)−log∑l=1keθTjx(i)⎞⎠(1.5)

Cost Function求导

SoftMax，有输入 x， 分类为类别 j 的概率定义为（参考UFLDL）：

P(y(i)=j|x(i);θ)=eθTjx(i)∑kl=1eθTjx(i)x(i)(1.6)

由式（1.5），对第参数 θj求偏导：

∂J(θ)∂θj==−1N∑i=1m⎛⎝I(y(i)=j)xi−eθTjx(i)∑kl=1eθTjx(i)x(i)⎞⎠−1N∑im(x(I(y(i)=j)−P(y(i)=j|xi;θ))(1.7)