EM算法

下面是《统计学习方法》EM算法的笔记。

EM算法是一种针对含有隐变量的模型的参数估计方法，具体来说是极大似然估计和最大后验概率估计。

该算法分为两步，第一步求期望，第二步对期望进行最大化。

首先，我们定义Y是观测变量，Z是隐变量。其中Y又称为不完全数据，Y、Z在一起称为完全数据。

第一步求的是下面这个函数的期望:

Q(θ,θi)=EZ[logP(Y,Z|θ)|Y,θi]=∑zlogP(Y,Z|θ)P(Z|Y,θi)

即求完全数据的对数似然函数关于在给定观测数据Y和当前估计参数θ(i)下对未观测数据Z的条件概率分布p(Z|Y,θ(i))的期望。

下面介绍EM算法是怎么来的

对于含有隐变量的概率模型，我们的目标是最大化观测数据的对数似然函数：

L(θ)=logP(Y|θ)=log∑zP(Y,Z|θ)=log∑zP(Y|Z,θ)P(Z,θ)

这个问题极大化的难度在于含有和的对数形式，这样在进行求导时还是包含这个东西。

EM算法的思想是通过迭代的方式来近似地极大化L(θ)。

假设第i次迭代后θ的估计值为θi.我们希望新的估计值可以使L(θ)增大，即L(θ)>L(θi),并逐步达到最大值。

我们考虑这二者的差

L(θ)−L(θi)=log(∑zP(Y|Z,θ)P(Z|θ))−logP(Y|θi)

利用jensen不等式得到下界。

L(θ)−L(θi)=log(∑zP(Z|Y,θi)P(Y|Z,θ)P(Z|θ)P(Z|Y,θi)−logP(Y|θi))≥∑zP(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)−∑zP(Z|Y,θi)logP(Y|θi)=∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi)

令

B(θ,θi)=L(θi)+∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi)

即

L(θ)≥B(θ,θi)

即B(θ,θi)是L(θ)的一个下界。那么任何可以让B(θ,θi)增大的θ也同时可以让L(θ)增大。所以我们最大化B(θ,θi)的话L(θ)也会有相当程度的增大，即

θi+1=argmaxB(θ,θi)=argmax(L(θi)+∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ)P(Z|Y,θi)P(Y|θi))=argmax(∑P(Z|Y,θi)logP(Y|Z,θ)P(Z|θ))=argmax(Q(θ,θi))

其中第二步是把所有常数项都去掉了。

至此，我们就导出了EM算法的目标函数了。