极大似然估计和贝叶斯估计
2013-11-18 14:59
169 查看
D表示训练数据集,
是模型参数
相反的,贝叶斯派认为参数也是随机的,和一般随机变量没有本质区别,正是因为参数不能固定,当给定一个输入x后,我们不能用一个确定的y表示输出结果,必须用一个概率的方式表达出来,所以贝叶斯学派的预测值是一个期望值,如下所示:
其中x表示输入,y表示输出,D表示训练数据集,
是模型参数
该公式称为全贝叶斯预测。现在的问题是如何求
(后验概率),根据贝叶斯公式我们有:
可惜的是,上面的后验概率通常是很难计算的,因为要对所有的参数进行积分,不能找到一个典型的闭合解(解析解)。在这种情况下,我们采用了一种近似的方法求后验概率,这就是最大后验概率。
最大后验概率和极大似然估计很像,只是多了一项先验分布,它体现了贝叶斯认为参数也是随机变量的观点,在实际运算中通常通过超参数给出先验分布。
从以上可以看出,一方面,极大似然估计和最大后验概率都是参数的点估计。在频率学派中,参数固定了,预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段,因为完全贝叶斯估计不一定可行。另一方面,最大后验概率可以看作是对先验和MLE的一种折衷,如果数据量足够大,最大后验概率和最大似然估计趋向于一致,如果数据为0,最大后验仅由先验决定。
参考资料:
[1] Machine
learning: a probabilistic
perspective 第三章
[2]Andrew Ng讲义,Regularization and model selection
http://v.163.com/special/opencourse/machinelearning.html
相关文章推荐
- 极大似然估计和贝叶斯估计
- 极大似然估计和贝叶斯估计
- 极大似然估计,最大后验概率估计(MAP),贝叶斯估计
- 贝叶斯估计和极大似然估计到底有何区别
- 关于极大似然估计 贝叶斯估计 和 最大后验概率(MAP)估计
- 极大似然估计和贝叶斯估计
- [置顶] 极大似然估计,最大后验概率估计(MAP),贝叶斯估计
- 极大似然估计和贝叶斯估计
- (转)极大似然估计和贝叶斯估计
- 极大似然估计、贝叶斯估计、EM算法
- 极大似然估计 最大后验概率估计
- 统计学习方法第四章朴素贝叶斯的贝叶斯估计,例题4.2代码实践
- 统计学习方法第四章,贝叶斯估计的实现
- 参数估计-最大似然估计、MAP及贝叶斯估计
- 贝叶斯定理与贝叶斯估计
- 最大似然估计,最大后验估计和贝叶斯估计
- 极大似然估计、拉普拉斯平滑定理、M-估计详解
- 贝叶斯思维(实例2)——估计
- 统计学习方法学习笔记(一)--极大似然估计与贝叶斯估计原理及区别
- 贝叶斯估计(概率密度函数的估计的参数方法)