(斯坦福机器学习课程笔记)用广义线性模型推导softmax

定义示性函数1{bool式子}，当bool式子为真，示性函数为1，反之为0.

多项式分布：P(y;ϕ1,ϕ2,ϕ3......ϕk)

上式等于：∏i=1kϕ1{y=i}i=∏i=1k−1ϕ1{y=i}iϕ1{y=k}k

上式等于：exp(∑i=1k−11{y=i}lnϕi+(1−∑l=1k−11{y=l})ln(1−∑l=1k−1ϕl))

上式等于：

exp(∑i=1k−11{y=i}lnϕi1−∑k−1l=1ϕl+ln(1−∑l=1k−1ϕl))上式也等于:

exp(∑i=1k−11{y=i}lnϕiϕk+lnϕk)

得到softmax的广义线性模型参数为

b(y)=1

a(η)=−lnϕk

T(y)=∑k−1i=11{y=i}

ηi=lnϕiϕk 这是个矩阵形式的式子。

根据ηi=lnϕiϕk 和 ∑kj=1ϕj=1 得

ϕj=eηj∑kj=1eηj

对于有m个样本，k个类别的分类问题，似然函数为

L(θ)=∏i=1mP(y(i)|xi;θ)=∏i=1m∏j=1kϕ1{yi=j}j

写成对数形式

l(θ)=∑i=1m∑j=1k1{yi=j}logϕj

迭代公式为

θj:=θj+a(1m∑i=1mxi(1{yi=j}−ϕi))