机器学习知识点(二十八)Beta分布和Dirichlet分布理解

1、二者关系：

     Dirichlet分布是Beta分布的多元推广。Beta分布是二项式分布的共轭分布，Dirichlet分布是多项式分布的共轭分布。

     通常情况下，我们说的分布都是关于某个参数的函数，把对应的参数换成一个函数（函数也可以理解成某分布的概率密度）就变成了关于函数的函数。

     于是，把Dirichlet分布里面的参数换成一个基分布就变成了一个关于分布的分布了。

2、Beta分布：

     

beta分布与二项分布的共轭先验性质二项分布
二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验结果无关，事件发生与否的概率在每一次独立试验中都保持不变，则这一系列试验总称为n重伯努利实验，当试验次数为1时，二项分布服从0-1分布

二项分布的似然函数：



beta分布



在beta分布中，B函数是一个标准化函数，它只是为了使得这个分布的概率密度积分等于1才加上的。

参考：https://en.wikipedia.org/wiki/Beta_distribution

3、Dirichlet分布
狄利克雷分布是一组连续多变量概率分布，是多变量普遍化的Β分布。

K阶狄利克雷分布的概率密度函数表示为如下形式：



其中，
 

 
为参数。概率密度函数定义在（K-1）维单纯形上：







归一化常数为对变量Beta函数，可以用Gamma函数来表示：



参考：https://en.wikipedia.org/wiki/Dirichlet_distribution