Gibbs Sampling（吉布斯采样）

摘要：Gibbs Sampling利用条件概率产生符合分布的样本，用于估计分布的期望，边缘分布；是一种在无法精确计算情况下，用计算机模拟的方法。

什么是Gibbs Sampling

Gibbs Sampling是MCMC算法中的一种，用来构造多变量概率分布的随机样本，比如构造两个或多个变量的联合分布，求积分，期望。

为什么需要Gibbs Sampling

这不是废话，肯定是积分，期望或者联合分布很难计算出来，通常情况下当前面三个问题是NP问题时才需要Gibbs Sampling。不然的话，直接计算就可以了嘛，既准确又快速，干嘛还要Gibbs Sampling呢。补充一句Gibbs Sampling只是（也只能）到近似解。

应用场景

a、积分，期望，样本概率很难计算出来；b、条件概率很容易计算。具体一点的例子：受限玻尔兹曼机（RBM）的训练，贝叶斯网络，LDA都用到Gibbs Sampling。

为什么Gibbs Sampling有效

当Gibbs Sapling算法执行多次之后，产生的样本服从真实样本的分布，即相当于直接从联合分布中采样。

Gibbs Sampling 算法 



二维Gibbs Sampling的马氏链转移
 



n维Gibbs Sampling算法

 观点:

1. We have a representation of p(x) and f(x), but integration is intractable. It turns out that if correctly sampled, only 10-20 points can be sufficient to estimate the mean and variance of a distribution. Of course, Samples must be independently drawn;
Expectation may be dominated by regions of high probability, or high function values.[1]

Reference

[1] Lecture
1: Introduction - CUNY 

[2] LDA数学八卦

后记：为什么要写关于Gibbs Sampling的文章呢？首先Gibbs Sampling是有用滴，Gibbs Sampling在机器学习中主要用于学习阶段的推理，比如求期望（平均值）和积分；再者网上的关于Gibbs Sampling的博客写得不好，资料也不多。

from here http://blog.csdn.net/wang_yi_wen  转载请说明