期望最大(EM)算法
2017-08-08 16:29
706 查看
在概率模型中寻找参数最大似然估计的算法。
em算法是一种迭代算法,用于含有隐变量的参数模型的最大似然估计。应用于数据聚类领域。
最大似然估计:
(1) 写出似然函数;
(2) 对似然函数取对数,并整理;
(3) 求导数 ;
(4) 解似然方程
期望最大算法经过两个步骤交替进行计算,
第一步是计算期望(E),也就是将隐藏变量象能够观测到的一样包含在内,从而计算最大似然的期望值;
另外一步是最大化(M),也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。
M 步上找到的参数然后用于另外一个 E 步计算,这个过程不断交替进行。
暂且先抛出一个随机的初值,然后用对方算出的数值反复迭代计算。直到计算结果收敛为止。这就是EM算法的思路。
EM算法在高斯混合模型GMM(Gaussian
Mixture Model )中有很重要的用途。简单来讲GMM就是一些高斯分布的组合。
整体算法的步骤如下所示:
1、初始化分布参数。
2、(E-Step)计算期望E,利用对隐藏变量的现有估计值,计算其最大似然估计值,以此实现期望化的过程。
3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
4、重复2,3步骤直到收敛。
em算法是一种迭代算法,用于含有隐变量的参数模型的最大似然估计。应用于数据聚类领域。
最大似然估计:
(1) 写出似然函数;
(2) 对似然函数取对数,并整理;
(3) 求导数 ;
(4) 解似然方程
期望最大算法经过两个步骤交替进行计算,
第一步是计算期望(E),也就是将隐藏变量象能够观测到的一样包含在内,从而计算最大似然的期望值;
另外一步是最大化(M),也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。
M 步上找到的参数然后用于另外一个 E 步计算,这个过程不断交替进行。
暂且先抛出一个随机的初值,然后用对方算出的数值反复迭代计算。直到计算结果收敛为止。这就是EM算法的思路。
EM算法在高斯混合模型GMM(Gaussian
Mixture Model )中有很重要的用途。简单来讲GMM就是一些高斯分布的组合。
整体算法的步骤如下所示:
1、初始化分布参数。
2、(E-Step)计算期望E,利用对隐藏变量的现有估计值,计算其最大似然估计值,以此实现期望化的过程。
3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
4、重复2,3步骤直到收敛。
相关文章推荐
- EM最大期望算法
- 从数学角度看最大期望(EM)算法 II
- 浅析K均值聚类和EM最大期望算法本质
- EM(期望最大)算法详解(上)
- EM(期望最大算法)在高斯混合模型中的python实现
- opencv2.4.9中期望最大(EM)算法理解
- 数据挖掘十大经典算法(5) 最大期望(EM)算法 .
- EM最大期望算法
- 图像处理基础知识系列之四:最大似然和EM(期望最大化)算法简单梳理
- 数据挖掘十大经典算法(5) 最大期望(EM)算法
- 最大期望(EM)算法
- 数据挖掘十大算法---EM 期望最大算法
- 数据挖掘十大经典算法(5) 最大期望(EM)算法
- EM-最大期望算法
- 数据挖掘十大经典算法(5) 最大期望(EM)算法
- 最大期望算法EM-机器学习ML
- 数据挖掘十大经典算法(5) 最大期望(EM)算法
- 数据挖掘十大经典算法(5) 最大期望(EM)算法
- 十大机器学习算法之最大期望算法(EM,Expectation-Maximization算法)
- MapReduce——并行期望最大值化算法(EM在高斯混合分布中的应用)