极大似然估计
2014-01-10 20:59
169 查看
在讲解极大似然估计法之前,我们从一个例子入手,了解极大似然估计法的直观想法:设甲箱中有99个白球,1个黑球;乙箱中有1个白球,99个黑球.现随机取出一箱,再从中随机取出一球,结果是黑球,这时我们自然更多地相信这个黑球是取自乙箱的.因此极大似然估计法就是要选取这样的数值作为参数的估计值,使所选取的样本在被选的总体中出现的可能性为最大.
定义.若总体X的密度函数为p(x; θ1, θ2,…, θk),其中θ1, θ2,…, θk是未知参数,(X1, X2,…, Xn)是来自总体X的样本,称
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041002.gif)
为θ1,θ2,…,θk的似然函数.其中x1,x2,…,xn为样本观测值.
若有
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041003.gif)
使得
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041004.gif)
成立,则称
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041005.gif)
为θj极大似然估计量(j=1,2,…,k).
特别地,当k=1时,似然函数为:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041006.gif)
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041007.gif)
根据微积分中函数极值的原理,要求
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
使得上式成立,只要令
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041008.gif)
其中L(θ)=L(x1,x2,…,xn;θ).
解之,所得解
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
为极大似然估计量,上式称为似然方程.
又由于
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041009.gif)
与
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041010.gif)
=
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041011.gif)
的极值点相同,所以根据情况,也可以求出
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041012.gif)
的解
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
作为极大似然估计量.
若总体X为离散型随机变量,其概率分布为:
P(X=x)=p(x; θ1, θ2,…, θk)
其中θ1, θ2,…, θk为未知参数,同样可以写出似然函数及似然方程.
例3.7.3 已知总体X服从泊松分布
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041013.gif)
(λ>0, x=0,1,…)
(x1,x2,…,xn)是从总体X中抽取的一个样本的观测值,试求参数λ的极大似然估计.
解.参数λ的似然函数为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041014.gif)
两边取对数:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041015.gif)
上式对λ求导,并令其为0,即
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041016.gif)
从而得
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041017.gif)
即样本均值是参数λ的极大似然估计.
例3.7.4 设总体X服从正态分布N(μ,
σ2),试求μ及σ2的极大似然估计.
解.μ,σ的似然函数为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041018.gif)
似然方程组为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041019.gif)
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041020.gif)
解之得:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041021.gif)
,
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041022.gif)
.
因此
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
及
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
分别是μ及σ2的极大似然估计.
上面我们介绍了两种求估计量的方法:矩估计法和极大似然估计法.从矩估计法公式我们得到,对正态总体N(μ, σ2),未知参数μ的矩估计为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
,σ2的矩估计为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
;而由例3.7.4, μ, σ2的极大似然估计也分别是
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
与
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
.一般地,在相当多的情况下,矩估计与极大似然估计是一致的,但也确有许多情形,矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价.除此之外,亦可以根据问题的实际意义进行判定.
定义.若总体X的密度函数为p(x; θ1, θ2,…, θk),其中θ1, θ2,…, θk是未知参数,(X1, X2,…, Xn)是来自总体X的样本,称
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041002.gif)
为θ1,θ2,…,θk的似然函数.其中x1,x2,…,xn为样本观测值.
若有
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041003.gif)
使得
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041004.gif)
成立,则称
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041005.gif)
为θj极大似然估计量(j=1,2,…,k).
特别地,当k=1时,似然函数为:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041006.gif)
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041007.gif)
根据微积分中函数极值的原理,要求
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
使得上式成立,只要令
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041008.gif)
其中L(θ)=L(x1,x2,…,xn;θ).
解之,所得解
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
为极大似然估计量,上式称为似然方程.
又由于
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041009.gif)
与
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041010.gif)
=
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041011.gif)
的极值点相同,所以根据情况,也可以求出
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041012.gif)
的解
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041001.gif)
作为极大似然估计量.
若总体X为离散型随机变量,其概率分布为:
P(X=x)=p(x; θ1, θ2,…, θk)
其中θ1, θ2,…, θk为未知参数,同样可以写出似然函数及似然方程.
例3.7.3 已知总体X服从泊松分布
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041013.gif)
(λ>0, x=0,1,…)
(x1,x2,…,xn)是从总体X中抽取的一个样本的观测值,试求参数λ的极大似然估计.
解.参数λ的似然函数为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041014.gif)
两边取对数:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041015.gif)
上式对λ求导,并令其为0,即
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041016.gif)
从而得
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041017.gif)
即样本均值是参数λ的极大似然估计.
例3.7.4 设总体X服从正态分布N(μ,
σ2),试求μ及σ2的极大似然估计.
解.μ,σ的似然函数为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041018.gif)
似然方程组为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041019.gif)
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041020.gif)
解之得:
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041021.gif)
,
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041022.gif)
.
因此
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
及
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
分别是μ及σ2的极大似然估计.
上面我们介绍了两种求估计量的方法:矩估计法和极大似然估计法.从矩估计法公式我们得到,对正态总体N(μ, σ2),未知参数μ的矩估计为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
,σ2的矩估计为
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
;而由例3.7.4, μ, σ2的极大似然估计也分别是
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041023.gif)
与
![](http://zlgc.usx.edu.cn/jsjy/kc/wksx/apache/chapter3/section7/point4/images/p0307041024.gif)
.一般地,在相当多的情况下,矩估计与极大似然估计是一致的,但也确有许多情形,矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价.除此之外,亦可以根据问题的实际意义进行判定.