EM算法及其推广的要点
2015-09-10 22:24
267 查看
1.EM算法是含有隐变量的变量的概率模型极大似然估计或极大后验概率估计的迭代算法，含有隐变量的概率模型的数据表示为$P(Y,Z|\theta)$.这里，$Y$是观测变量的数据，$Z$是隐变量的数据，$\theta$是模型参数。EM算法通过迭代求解观测数据的对数似然函数$L(\theta)=logP(Y|\theta)$的极大化，实现极大似然估计。每次迭代包括两步：E步，求期望，即求$logP(Y|\theta)$关于$P(Y|\theta^{(i)})$的期望：
$Q(\theta,\theta^{(i)})=\sum_{Z}logP(Y,Z|\theta)P(Z|Y,\theta^{(i)})$
称为Q函数，这里$\theta^{(i)}$是参数的现现估计值；M步，求极大，即极大化Q函数得到参数的新估计值：$\theta^{(i+1)}=arg~max_{\theta}Q(\theta,\theta^{(i)}) $
在构建具体的EM算法时，重要的是定义Q函数，每次迭代中，EM算法通过极大化Q函数来增大对数似然函数$L(\theta)$.
2.EM算法在每次迭代后均提高观测数据的似然函数值，即：$P(Y|\theta^{(i+1)})\geq P(Y|\theta^{(i)})$
在一般情况下EM算法是收敛的，但是不能保证收敛到全局最优。
3.EM算法应用及其广泛，主要应用于含有隐变量的概率模型的学习，高斯混合模型的参数估计是EM算法的一个重要的应用，下一章节主要介绍隐马尔可夫模型的非监督学习也是EM散发的一个重要的应用。
4.EM算法还可以解释为F函数的极大-极大算法，EM算法有许多的变形，如GEM算法，GEM算法的特点是每次迭代增加F函数值，从而增加似然函数值。
$Q(\theta,\theta^{(i)})=\sum_{Z}logP(Y,Z|\theta)P(Z|Y,\theta^{(i)})$
称为Q函数，这里$\theta^{(i)}$是参数的现现估计值；M步，求极大，即极大化Q函数得到参数的新估计值：$\theta^{(i+1)}=arg~max_{\theta}Q(\theta,\theta^{(i)}) $
在构建具体的EM算法时，重要的是定义Q函数，每次迭代中，EM算法通过极大化Q函数来增大对数似然函数$L(\theta)$.
2.EM算法在每次迭代后均提高观测数据的似然函数值，即：$P(Y|\theta^{(i+1)})\geq P(Y|\theta^{(i)})$
在一般情况下EM算法是收敛的，但是不能保证收敛到全局最优。
3.EM算法应用及其广泛，主要应用于含有隐变量的概率模型的学习，高斯混合模型的参数估计是EM算法的一个重要的应用，下一章节主要介绍隐马尔可夫模型的非监督学习也是EM散发的一个重要的应用。
4.EM算法还可以解释为F函数的极大-极大算法，EM算法有许多的变形，如GEM算法，GEM算法的特点是每次迭代增加F函数值，从而增加似然函数值。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- poj 2186 Popular Cows 有向图强连通分量 tarjan
- 关于JS单选按钮与复选按钮验证是否选中
- 款流行的Markdown编辑器
- android点击空白区域隐藏软键盘
- Android Api Demos登顶之路（六十三）Content-->Resources Smallest Width
- 故障定位之查找附近点GeoHash研讨
- uImage、zImage、bzImage、vlinzx区别
- 避免按enter键提交表单
- Python使用Rsa公钥加密，私钥解密以及私钥签名，公钥验签的例子
- 汇编记录(99) 汇编指令
- 使用TextView实现跑马灯效果
- 玩儿转C语言：字符和字符串
- C++Primer第五版 2.3.1节练习
- hdu1827 强连通
- POJ 2421 minimum spanning tree (prime algorithm)
- wxPython python3.x下载地址
- libtiff vs2010编译
- AngularJs 父子级Controller传递数据
- 将一个二进制输转换成对应的标准格雷码形式
- 对C++中关联容器一些基础知识的认识