什么叫共轭先验或者共轭分布?
2014-05-09 10:45
162 查看
如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。
现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?
我之前就常常把这个关系弄错,现在记录如下,以加强印象。
贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类
其中有重要影响的一类是:共轭先验
现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)
它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)
之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验
分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。
为了使得先验分布和后验分布的形式相同,我们定义:
如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的
所以回答文章开头提出的问题:共轭是指的先验分布和似然函数
很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。
原文转自:http://blog.csdn.net/xianlingmao/article/details/7340099
现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?
我之前就常常把这个关系弄错,现在记录如下,以加强印象。
贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类
其中有重要影响的一类是:共轭先验
现在假设我们有这样几类概率:P(\theta)(先验分布), p(\theta|X)(后验分布), p(X), p(X|\theta) (似然函数)
它们之间的关系可以通过贝叶斯公式进行连接: 后验分布 = 似然函数* 先验分布/ P(X)
之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的)另外一方面是可以形成一个先验链,即现在的后验
分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。
为了使得先验分布和后验分布的形式相同,我们定义:
如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的
所以回答文章开头提出的问题:共轭是指的先验分布和似然函数
很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。
原文转自:http://blog.csdn.net/xianlingmao/article/details/7340099
相关文章推荐
- 什么叫共轭先验或者共轭分布?
- 什么叫共轭先验或者共轭分布?
- 什么叫共轭先验或者共轭分布?
- (转载)什么叫共轭先验或者共轭分布?
- 共轭先验和共轭分布
- asterisk 中上传录音,拨打时没声音或者完全听不清说什么。?
- SQL like 的一小用法“不以什么开头的时候” 或者“不包括什么的时候”
- 新进入一个研发团队,或者项目组要做什么?
- java中什么时候该用static修饰方法?有什么好处或者坏处?
- try-catch-finally语句中用什么方法退出或者不执行finally就直接退出并且return和finally的执型顺序是怎样的
- 什么是java序列化,如何实现java序列化?或者请解释Serializable接口的作用
- GoogleMap和高德地图最新的瓦片图地址是用什么加密或者压缩
- linux创建、进入、修改目录或者文件权限 ‘ACM’时间是什么?怎么修改?
- 作为一个初学者或者进阶者,这并没有什么错。当一个有能力的程序员而不是领导者,这也没有什么错。真正的错误是,当你知道应该如何去提高时仍然选择做一名初学者。
- java基础问题---什么是java序列化,如何实现java序列化?或者请解释Serializable接口的作用。
- 最近在学习测试的东西,有什么好的书籍或者网站吗?
- 机器学习的数学基础 1. 共轭先验 Conjugate Prior
- 很多人都说flash as3 经常都是使用MC或者sprite(请问这里的sprite是什么意思?)
- 阿里云服务器如何解析添加二级域名+阿里云服务器或者其他网站绑定域名方法+域名解析是什么意思【申明:来源于网络】
- qt android开发篇之如何实现在不同分辨率手机中自适应字体大小,或者像素什么的