Beta-Binomial 共轭

接上文认识 Beta 分布.

上文通过一个简单的小游戏，我们最终得到Beta分布的概率密度：

B(x|α,β)=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1

Beta分布对应的一个现实中的例子为，α=k,β=n−k+1，B(x|α,β)表示 n个独立的服从0-1均匀分布（U[0,1]）的随机变量，第 k大的随机变量的概率分布。也即：

B(X(n,k)|α=k,β=n−k+1)==Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1n!(k−1)!(n−k)!xk−1(1−x)n−k

回到游戏上来：

f(Xn=10,k=7)=10!6!3!x6(1−x)3

假如我们第一次没有猜中，此时，游戏的发起者说：“让仁慈的我，给你一些提示（先验），让请你按5次，获得5个 [0,1]之间的随机数，然后我可以告诉你这五个数中的每一个和前面得到的10个数中第7大的数相比，谁大谁小，然后请你继续猜第7大的数是多少”。

此时问题抽象为数学表达即为：

1. X1,X2,…,Xn 独立同分布于 U[0,1]，排序后对应的顺序统计量为 X(1),X(2),…,X(n)，我们感兴趣的猜测是 p=X(k)

2. Y1,Y2,…,Ym独立同分布于 U[0,1]，其中 m1个比 p小，m2个比p大

3. 问 P(p|Y1,Y2,…,Ym)的分布是什么？

由于 p=X(k)在X1,X2,…,Xn中是第 k大的，利用Yi的信息，我们容易得到 p=X(k)在X1,X2,…,Xn,Y1,Y2,…,Ym这 (m+n)个独立同 U[0,1]的随机变量中第 m1+k大的，于是按照之前的上篇博客得到的结论，此时 p=X(k)的概率密度函数为 Beta(p|α=m1+k,β=n+m−m1−k+1=n+m2+1−k)，按照贝叶斯推理（Bayesian inference）的逻辑，我们把以上变量或者记号与贝叶斯推理上下文下的说法做对应：

p=X(k)是我们要推测的参数，我们推导出 p的分布为 f(p)=\Beta(p|α=k,β=n−k+1)，称为 p的先验分布；

数据 Y中有 m1个比 p小，有m2个比 p大，相当于对 Y做 m次伯努利试验，所以 m1服从二项分布 B(m,p)

在给定了来自数据提供的 (m1,m2)的知识后，p的后验分布变为f(p|m1,m2)=B(p|α=m1+k,β=n+m2+1−k)

等等，也即是服从二项分布的先验与服从Beta分布的似然相互作用得到了服从beta分布的后验。这是什么呀？共轭分布呗。