极大似然法估计与极大验后法估计
2016-03-01 12:35
453 查看
| ||||
| 一、极大似然法估计 极大似然法估计是以观测值出现的概率为最大作为估计准则的，它是一种觉的参数估计方法。 设  是连续随机变量，其分布密度为  ，含有  个未知参数  。把  个独立观测值  分别代入  中的 ，则得  将所得的 个函数相乘，得  (11-20) 称函数  为似然函数。当 固定时， 是 的函数。极大似然法的实质就是求出使 达到极大时的 的估值  。从式(11-20)可看到  是观测值 的函数。 为了便于求出使 达到极大的 ，对式(11-20)取对数，则  (11-21) 由于对数函数是单调增加函数，因此当 取极大值时，  也同时取极大值，将上式分别对 求偏导数，令偏导数等于零，可得下列方程组：  (11-22) 解上述方程组，可得使 达到极大值的 。按极大似然法确定的 ，使 最有可能出现，并不需要 的验前知识，即不需要知道 的概率分布密度和一、二阶矩。 例11-1 设有正态分布随机变量 ，给出 个观测值 。观测值相互独立，试根据这 个观测值，确定分布密度中的各参数。 解 的分布密度可用下式表示：  式中的  和  为未知参数。现有极大似然法来确定参数 和 。作似然函数：  对上式取对数，可得  将上式分别对 和 求偏导数，令偏导数等于零，可得   联立求解可得  上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。 设  为 维随机变量，  为  维未知参数，假定已知 的条件概率密度  。现在得到 组 的观测值  。观测值相互独立。当参数 是何值时， 出现的可能性最大？为此，确定似然函数：  (11-23) 或  (11-24) 求出使 为极大的 值，令  (11-25) 解之，可得  的估值  。 取极大值的充分条件是  因此，用极大似然法时，应先求似然函数 ，然后用微分法求出使似然函数 为极大的 的估值 。 设有一线性观测系统  (11-26) 式中， 是 维观测值， 是 维未知参数，  是 维测量误差。设 与 独立。给出 的统计特性，求 的极大似然估计。 下面求似然函数  根据不同随机变量的概率密度变换公式，并考虑到 与 独立，可得   令  得上式，可得 的估值 。 假定噪声 是正态分布，其均值为零，方差阵为  ，则  把  代入上式，得  式中  求出 ，使  为最大，也就是使  (11-27) 求  对 的偏导数，令偏导数等于零，可得 的估值     (11-28) 二、 极大验后估计 如果给出 维随机变量 的条件概率分布密度  ――也称验后概率密度，怎样求 的最优估值 呢？极大验后估计准则：使 的验后概率密度 达到最大那个 值为极大验后估值 。可见，极大验后估计是已知 求 的最优估值 的一种有效方法。 极大验后估计是以已知 为前提的。如果只知道 ，可按下式计算 。  (11-29) 式中  是 的验前概率密度，  是观测值 的概率密度， 可用计算方法或实验方法求得。为了计算 需要知道 。在 没有验前知识可供利用时，可假定 在很大范围内变化。在这种情况下，可把 的验前概率密度 近似地看作方差阵趋于无限大的正态分布密度  式中  为 的方差阵，   单位阵，  ，于是   (11-30) 当   (11-31) 当缺乏 的验前概率分布密度时，极大验后估计与极大似然估计是等同的，现证明如下： 对于极大似然估计，为了求得 的最优估值 ，应令  (11-32) 对于极大验后估计，为了求得  的最优估值  ，应令  (11-33) 根据式(11-29)得   考虑到 不是 的函数，同时考虑到式(11-31)，可得  (11-34) 一般说来，极大似然估计比极大验后估计应用普遍，这是由于计算似然函数比计算验后概率密度较为简单。 |
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Memory Limit Exceeded超内存，怎么避免呢？
- 计算空间
- 【图像跟踪】贝叶斯估计基础
- 关于高阶导数的一个不等式估计
- 最大似然估计（MLE）与最大后验估计（MAP）
- logisitic 回归 +极大似然法 + 梯度下降法 (迭代优化)
- Eviews 9.0新功能——估计方法（ARDL、面板自回归、门限回归）
- 最大似然估计（MLE）和最大后验概率（MAP）
- 最大似然估计(Maximum likelihood estimation)
- 克拉美罗下界 CRLB的计算
- 最大似然估计
- 最大似然估计 （MLE） 最大后验概率（MAP）
- 最小二乘法(least squares)
- MLE，EM，MAP 三种算法对比和理解
- FFMPEG中关于ts流的时长估计的实现
- 极大似然估计
- 记关于工程估量的一些认识
- 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
- 贝叶斯线性回归（单输出）
- 最小二乘法分析