Exponential families

Exponential families

·EF包括很多常用分布，比如：

Bernoulli, Gaussian, Multinomial, Dirichlet, Gamma, Poisson, Beta。

使用EF描述数据，可以让我们更容易找到共轭先验。

 

·其通用形式如下：

 


 

·各项含义如下：

 


注意，t(x)、h(x)可以不是关于x的函数。

 

下面以高斯分布作为例子，讲解其EF通用形式和对应的共轭先验

·高斯分布转换成EF通用形式：

 


 

·可以转换成另一种形式

 


这种形式更适用于发现共轭先验(与图中式（34）有相同形式的参数的先验分布)，因为把只含参数的部分单独放在一块了。

 

·由上图的式(34)可知共轭先验应当满足以下形式

 


由此可知，共轭先验也是高斯分布。

 

·根据“后验=先验*似然函数”可得后验分布的natural parameter为：

 


其中

 


 

·由此可得后验概率的期望和方差

 


·代入对期望、方差的先验假设后，可得：