似然函数 极大似然估计
2017-05-23 20:05
281 查看
统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：
L(θ|x)=P(X=x|θ).
概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。
转自： http://blog.csdn.net/sunlylorn/article/details/19610589
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数B时，事件A会发生的概率写作：
利用贝叶斯定理，
因此，我们可以反过来构造表示似然性的方法：已知有事件A发生，运用似然函数
，我们估计参数B的可能性。形式上，似然函数也是一种条件概率函数，但我们关注的变量改变了：
注意到这里并不要求似然函数满足归一性：
。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有
，都可以有似然函数：
两次投掷都正面朝上时的似然函数
考虑投掷一枚硬币的实验。通常来说，已知投出的硬币正面朝上和反面朝上的概率各自是
，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：
其中H表示正面朝上。
在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。
我们可以建立一个统计模型：假设硬币投出时会有
的概率正面朝上，而有
的概率反面朝上。
这时，条件概率可以改写成似然函数：
也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，
的似然性是0.25（这并不表示当观测到两次正面朝上时
的概率是0.25）。
如果考虑
，那么似然函数的值也会改变。
三次投掷中头两次正面朝上，第三次反面朝上时的似然函数
注意到似然函数的值变大了。
这说明，如果参数
的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设
时更大。也就是说，参数
取成0.6
要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。
在这个例子中，似然函数实际上等于：
， 其中
。
如果取
，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。
类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第三次反面朝上，那么似然函数将会是：
，
其中T表示反面朝上，
。
这时候，似然函数的最大值将会在
的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率
是最合理的。
最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。
似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，这个比值是卡方分配。
尼曼-皮尔森引理说明，似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。
转自：http://blog.csdn.NET/yanqingan/article/details/6125812
最大似然估计学习总结------MadTurtle
1. 作用
在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数
作为真实
的参数估计。
2. 离散型
设
为离散型随机变量，
为多维参数向量，如果随机变量
相互独立且概率计算式为P{
，则可得概率函数为P{
}=
，在
固定时，上式表示
的概率；当
已知的时候，它又变成
的函数，可以把它记为
，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值
，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使
达到最大值的那个
作为真实
的估计。
3. 连续型
设
为连续型随机变量，其概率密度函数为
，
为从该总体中抽出的样本，同样的如果
相互独立且同分布，于是样本的联合概率密度为
。大致过程同离散型一样。
4. 关于概率密度(PDF)
我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：
=
其中y
由于y的取值范围已定，而且
也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当
时的y值概率情况。
图1
时概率分布图
图2
时概率分布图
那么
在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。
5. 最大似然估计的求法
由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PDF（具体来说参数
为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为：
该函数可以理解为，在给定了样本值的情况下，关于参数向量
取值情况的函数。还是以上面的简单实验情况为例，若此时给定y为7，那么可以得到关于
的似然函数为：
继续回顾前面所讲，图1,2是在给定
的情况下，样本向量y取值概率的分布情况；而图3是图1,2横纵坐标轴相交换而成，它所描述的似然函数图则指出在给定样本向量y的情况下，符合该取值样本分布的各种参数向量
的可能性。若
相比于
，使得y=7出现的可能性要高，那么理所当然的
要比
更加接近于真正的估计参数。所以求
的极大似然估计就归结为求似然函数
的最大值点。那么
取何值时似然函数
最大，这就需要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。
图3
的似然函数分布图
主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以
与
具有相同的最大值点，而在许多情况下，求
的最大值点比较简单。于是，我们将求
的最大值点改为求
的最大值点。
若该似然函数的导数存在，那么对
关于参数向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：
可以求得
时似然函数有极值，为了进一步判断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果
的二阶导为负数那么即是最大值，这里再不细说。
还要指出，若函数
关于
的导数不存在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求
的最大值点
6. 总结
最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤：
（1） 写出似然函数
（2） 对似然函数取对数，并整理
（3） 求导数
（4） 解似然方程
对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。而且对于该算法，我理解为，“知道”和“能用”就行，没必要在程序设计时将该部分实现，因为在大多数程序中只会用到我最后推导出来的结果。个人建议，如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容，在文献[2]附有3个推导例子。
L(θ|x)=P(X=x|θ).
概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。
转自： http://blog.csdn.net/sunlylorn/article/details/19610589
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数B时，事件A会发生的概率写作：
利用贝叶斯定理，
因此，我们可以反过来构造表示似然性的方法：已知有事件A发生，运用似然函数
，我们估计参数B的可能性。形式上，似然函数也是一种条件概率函数，但我们关注的变量改变了：
注意到这里并不要求似然函数满足归一性：
。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有
，都可以有似然函数：
例子
两次投掷都正面朝上时的似然函数
考虑投掷一枚硬币的实验。通常来说，已知投出的硬币正面朝上和反面朝上的概率各自是
，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：
其中H表示正面朝上。
在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。
我们可以建立一个统计模型：假设硬币投出时会有
的概率正面朝上，而有
的概率反面朝上。
这时，条件概率可以改写成似然函数：
也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，
的似然性是0.25（这并不表示当观测到两次正面朝上时
的概率是0.25）。
如果考虑
，那么似然函数的值也会改变。
三次投掷中头两次正面朝上，第三次反面朝上时的似然函数
注意到似然函数的值变大了。
这说明，如果参数
的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设
时更大。也就是说，参数
取成0.6
要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。
在这个例子中，似然函数实际上等于：
， 其中
。
如果取
，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。
类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第三次反面朝上，那么似然函数将会是：
，
其中T表示反面朝上，
。
这时候，似然函数的最大值将会在
的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率
是最合理的。
应用
最大似然估计
最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。
似然比检验
似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，这个比值是卡方分配。尼曼-皮尔森引理说明，似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。
转自：http://blog.csdn.NET/yanqingan/article/details/6125812
最大似然估计学习总结------MadTurtle
1. 作用
在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数
作为真实
的参数估计。
2. 离散型
设
为离散型随机变量，
为多维参数向量，如果随机变量
相互独立且概率计算式为P{
，则可得概率函数为P{
}=
，在
固定时，上式表示
的概率；当
已知的时候，它又变成
的函数，可以把它记为
，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值
，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使
达到最大值的那个
作为真实
的估计。
3. 连续型
设
为连续型随机变量，其概率密度函数为
，
为从该总体中抽出的样本，同样的如果
相互独立且同分布，于是样本的联合概率密度为
。大致过程同离散型一样。
4. 关于概率密度(PDF)
我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：
=
其中y
由于y的取值范围已定，而且
也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当
时的y值概率情况。
图1
时概率分布图
图2
时概率分布图
那么
在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。
5. 最大似然估计的求法
由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PDF（具体来说参数
为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为：
该函数可以理解为，在给定了样本值的情况下，关于参数向量
取值情况的函数。还是以上面的简单实验情况为例，若此时给定y为7，那么可以得到关于
的似然函数为：
继续回顾前面所讲，图1,2是在给定
的情况下，样本向量y取值概率的分布情况；而图3是图1,2横纵坐标轴相交换而成，它所描述的似然函数图则指出在给定样本向量y的情况下，符合该取值样本分布的各种参数向量
的可能性。若
相比于
，使得y=7出现的可能性要高，那么理所当然的
要比
更加接近于真正的估计参数。所以求
的极大似然估计就归结为求似然函数
的最大值点。那么
取何值时似然函数
最大，这就需要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。
图3
的似然函数分布图
主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以
与
具有相同的最大值点，而在许多情况下，求
的最大值点比较简单。于是，我们将求
的最大值点改为求
的最大值点。
若该似然函数的导数存在，那么对
关于参数向量的各个参数求导数（当前情况向量维数为1），并命其等于零，得到方程组：
可以求得
时似然函数有极值，为了进一步判断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果
的二阶导为负数那么即是最大值，这里再不细说。
还要指出，若函数
关于
的导数不存在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求
的最大值点
6. 总结
最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤：
（1） 写出似然函数
（2） 对似然函数取对数，并整理
（3） 求导数
（4） 解似然方程
对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。而且对于该算法，我理解为，“知道”和“能用”就行，没必要在程序设计时将该部分实现，因为在大多数程序中只会用到我最后推导出来的结果。个人建议，如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容，在文献[2]附有3个推导例子。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 