PRML学习笔记2 常见的概率分布

1. 伯努利分布

现在问题是假如我们考虑抛硬币，如果3次都是head,那么根据伯努利，MLE推断 参数



那么我们会认为每次投掷都会是head,这显然与常识不符，

这里我们如果有一个先验知识就能纠正这个问题（考虑贝叶斯分类器中的0概率事件处理其实也是加一个先验知识而已来进行平滑）,那么怎么加入先验知识呢？





这里我们利用贝叶斯法则，我们从原来的

来估算参数，改为后验

也即等价

估算参数。

这里我们希望

有类似

的形式。从而引出了beta 分布，注意

与

(先验）的形式类似，只不过(a,b)变成(m+a, l+b)，即我们的先验知识由于实际看到的情况做出来相应调整。

2. Beta分布

注意这里的Bin是binomial分布，也即N次投掷中head次数为m.





利用先验知识当我们想要再预测下一次投掷硬币是head的概率时怎么做呢？