关于EM算法的一些心得感悟
2016-09-09 11:38
344 查看
最近因为准备面试,重新看了下EM算法。觉得还是有了新的收获。大家都知道EM算法是用来解决含有隐含变量的不完全数据问题。一般博客中举的最多的例子就是男生女生身高的问题。具体为:假如有一批人,我们已经测得了每个人的身高,这些人中包含男生和女生,问如何分别求解得到男生和女生的身高分布的参数(一般假设都是服从正态分布)。前人的博客都说了因为log在求和符号的外面,一般的极大似然法没法求解这个问题,原因就在于我们并不知道每一个身高数据到底是男生的还是女生的。而EM算法的提出了一种迭代求解的思路:我们首先假设我们知道每个身高是来自男生分布还是女生分布;然后在已知隐含变量的情况下,即我们已经可以把这批人分成两半,每一半利用极大似然估计就可以求得均值和方差了;然后把求得的均值和方差再带回去估计每个样本是属于男性还是女性。
EM算法的英文名称叫做Expectation Maximization。通常分为两步,即常说的E步和M步。一般E步的作用是求期望,M步即将E步求得的期望最大化,然后得到新的参数(如混合高斯分布里的均值和方差)。实际上E步干的事应该是求得每个隐含变量的后验分布,即p(zi|xi;θ),这就是所谓的Q函数,基于每个样本的这个分布我们就可以得到每个样本的隐含变量值zi。当我们得到了每个样本的隐含变量后,就可以把期望公式计算好了,这就是我们常说的计算期望。
EM算法的英文名称叫做Expectation Maximization。通常分为两步,即常说的E步和M步。一般E步的作用是求期望,M步即将E步求得的期望最大化,然后得到新的参数(如混合高斯分布里的均值和方差)。实际上E步干的事应该是求得每个隐含变量的后验分布,即p(zi|xi;θ),这就是所谓的Q函数,基于每个样本的这个分布我们就可以得到每个样本的隐含变量值zi。当我们得到了每个样本的隐含变量后,就可以把期望公式计算好了,这就是我们常说的计算期望。
相关文章推荐
- 关于JSP的一些感悟和心得
- 关于最近研究XmlHttp的一些心得
- 关于windows编程的一些心得 选择自 forpku 的 Blog
- 关于GRIDVIEW与DETAILSVIEW的一些心得(包含DROPDOWNLIST的配合)
- 关于自定义客户端验证脚本同时和服务器控件关联的一些心得
- 关于多项目管理过程中的一些感悟
- 关于壳的构架的一些感悟
- 关于poi导入excel数据的一些心得
- 关于在DELPHI6中使用正则表达式的一些心得
- 关于一些Java开发工具的使用心得(不断更新)
- 关于使用Java开发工具的一些心得
- 关于用百度提升网站流量的一些心得
- 关于一些activex的心得
- 关于颜色格式的一些心得
- 关于Google Maps的地图类型(MapType)的一些心得
- 关于外挂开发的一些感悟:(
- 关于在非托管应用中访问托管代码一些心得
- 关于文件操作的一些感悟
- 关于GRIDVIEW与DETAILSVIEW的一些心得(包含DROPDOWNLIST的配合)