关于似然函数,后验函数的总结
2014-11-24 20:27
127 查看
最近在学习机器学习,各处收集的一些概念性的东西,自己多看看吧!
似然函数
似然函数(likelihood function),也称作似然,是一个关于统计模型参数的函数。也就是这个函数中自变量是统计模型的参数。对于结果 x ,在参数集合 θ 上的似然,就是在给定这些参数值的基础上,观察到的结果的概率
L(θ|x)=P(x|θ) 。也就是说,似然是关于参数的函数,在参数给定的条件下,对于观察到的 x 的值的条件分布。
似然函数在统计推测中发挥重要的作用,因为它是关于统计参数的函数,所以可以用来评估一组统计的参数,也就是说在一组统计方案的参数中,可以用似然函数做筛选。在非正式的语境下,“似然”会和“概率”混着用;但是严格区分的话,在统计上,二者是有不同。
不同就在于,观察值 x 与参数 θ 的不同的角色。概率是用于描述一个函数,这个函数是在给定参数值的情况下的关于观察值的函数。例如,已知一个硬币是均匀的(在抛落中,正反面的概率相等),那连续10次正面朝上的概率是多少?这是个概率。
而似然是用于在给定一个观察值时,关于用于描述参数的情况。例如,如果一个硬币在10次抛落中正面均朝上,那硬币是均匀的(在抛落中,正反面的概率相等)概率是多少?这里用了概率这个词,但是实质上是“可能性”,也就是似然了。
后验概率
Posterior probability
后验概率是关于随机事件或者不确定性断言的条件概率,是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布,并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是,考虑相关事件已经被检视并且能够得到一些信息。
后验概率是关于参数 θ 在给定的证据信息 X 下的概率: p(θ|x) 。
若对比后验概率和似然函数,似然函数是在给定参数下的证据信息 X 的概率分布: p(x|θ) 。
二者有如下关系:
我们用 p(θ) 表示概率分布函数,用 p(x|θ) 表示观测值 x 的似然函数。后验概率定义如下:
p(θ|x)=p(x|θ)p(θ)p(x)
鉴于分母不变,可以表达成如下正比关系:
Posteriorprobability∝Likelihood×Prior probability
似然函数
似然函数(likelihood function),也称作似然,是一个关于统计模型参数的函数。也就是这个函数中自变量是统计模型的参数。对于结果 x ,在参数集合 θ 上的似然,就是在给定这些参数值的基础上,观察到的结果的概率
L(θ|x)=P(x|θ) 。也就是说,似然是关于参数的函数,在参数给定的条件下,对于观察到的 x 的值的条件分布。
似然函数在统计推测中发挥重要的作用,因为它是关于统计参数的函数,所以可以用来评估一组统计的参数,也就是说在一组统计方案的参数中,可以用似然函数做筛选。在非正式的语境下,“似然”会和“概率”混着用;但是严格区分的话,在统计上,二者是有不同。
不同就在于,观察值 x 与参数 θ 的不同的角色。概率是用于描述一个函数,这个函数是在给定参数值的情况下的关于观察值的函数。例如,已知一个硬币是均匀的(在抛落中,正反面的概率相等),那连续10次正面朝上的概率是多少?这是个概率。
而似然是用于在给定一个观察值时,关于用于描述参数的情况。例如,如果一个硬币在10次抛落中正面均朝上,那硬币是均匀的(在抛落中,正反面的概率相等)概率是多少?这里用了概率这个词,但是实质上是“可能性”,也就是似然了。
后验概率
Posterior probability
后验概率是关于随机事件或者不确定性断言的条件概率,是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布,并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是,考虑相关事件已经被检视并且能够得到一些信息。
后验概率是关于参数 θ 在给定的证据信息 X 下的概率: p(θ|x) 。
若对比后验概率和似然函数,似然函数是在给定参数下的证据信息 X 的概率分布: p(x|θ) 。
二者有如下关系:
我们用 p(θ) 表示概率分布函数,用 p(x|θ) 表示观测值 x 的似然函数。后验概率定义如下:
p(θ|x)=p(x|θ)p(θ)p(x)
鉴于分母不变,可以表达成如下正比关系:
Posteriorprobability∝Likelihood×Prior probability
相关文章推荐
- 关于对js从服务器端取到的值进行函数调用的总结
- 关于函数调用的总结
- C++中的类所占内存空间总结(其中有一段关于成员函数处于代码段的解释) 2011-12-9 16:16
- C++中的类所占内存空间总结(其中有一段关于成员函数处于代码段的解释)
- 关于windows多字节和宽字节函数的总结:
- 关于java调用window DLL里的函数的总结
- 关于C++函数指针、函数回调的相关总结(重载与多态)
- 关于函数参数的一点总结
- 关于函数指针的一点总结
- 关于C语言中字符串操作的几个函数的总结
- 关于输入流对象cin的get函数——测试结论总结
- 关于inet_pton等一系列的inet_函数总结
- JS中关于把函数作为另一函数的参数的几点小总结
- 关于C++中虚函数的总结
- php关于文件内容的几个操作函数总结
- 关于C语言变量和函数命名总结以下几点,大家可以讨论交流一下:
- COM接口继承IUnkonwn接口,关于IUnkonwn里面函数实现中用到引用计数的总结
- 关于asp.net内的函数.ToString()将数据保留几位小数的总结
- JS中关于把函数作为另一函数的参数的几点小总结
- 今日收获总结(关于存储过程时间查询的一些方法以及字段截取的函数及调用示例)