Gibbs Sampling简单总结
2014-03-15 18:34
134 查看
Gibbs Samping 是MCMC中最常用的方法,基本的原理就是通过随机模拟, 采集 期望数量的 目标分布的样本,这些样本构造了一条马尔可夫链,而由这些样本集,基本可以推断出目标分布的参数以及其它的想了解的 后验分布。但通常 如何采集 样本成为关键,应用它的原因是目标分布的分布函数未知,但是 构成目标分布的 变量的 条件分布是知道的,那么就可以用随机模拟的思想,利用贝叶斯公式的特性,从条件概率依次对构成目标分布的每个变量进行采样,做跳转,每次只针对一个维度做迭代,当所有维度都跳转一次之后所的样本即可则看作是目标分布的一次跳转。
通常若按数学公式是可以直接求出联合概率的,但随着变量数量的增大,公式求解,变得异常复杂,遂通过采样的方式求得联合概率分布。
基本过程:
比如我们已知变量A,B,C,并知p(A|B,C),p(B|A,C),p(C|A,B),
step1:给ABC随机赋值,即随机一个样本,如(A0,B0,C0),
step2:根据p(A|B0,C0)得A1,
step3:根据p(B|A1,C0)得B1,
step4:根据p(C|A1,B1)得C1,
现得样本(A1,B1,C1),
重复step1到step4,经过若干次迭代过程后,则结果基本趋于变量实际的分布,即可作为联合发布。
有新的发现继续补充!
通常若按数学公式是可以直接求出联合概率的,但随着变量数量的增大,公式求解,变得异常复杂,遂通过采样的方式求得联合概率分布。
基本过程:
比如我们已知变量A,B,C,并知p(A|B,C),p(B|A,C),p(C|A,B),
step1:给ABC随机赋值,即随机一个样本,如(A0,B0,C0),
step2:根据p(A|B0,C0)得A1,
step3:根据p(B|A1,C0)得B1,
step4:根据p(C|A1,B1)得C1,
现得样本(A1,B1,C1),
重复step1到step4,经过若干次迭代过程后,则结果基本趋于变量实际的分布,即可作为联合发布。
有新的发现继续补充!
相关文章推荐
- Markov chain& MCMC&Gibbs Sampling 总结
- Markov chain& MCMC&Gibbs Sampling 总结
- MCMC,GIBBS SAMPLING简单摘要
- 简单的MySQL数据库复习总结
- JavaWeb总结二十七、jsp简单标签开发案例和打包
- opencv 学习第四天 学习opencv(中文版) 总结一下opencv的图像视频的简单应用
- “无限极”分类数据表设计的简单再总结
- hibernate总结---hibernate简单使用
- Makefile简单总结
- 内存泄漏与内存溢出(简单总结)
- c++ string流 stringstream的简单总结(初级)
- 关于java中static关键字的简单总结
- dfs简单总结
- 实现gibbs 等离散分布的sampling的code
- linux简单常用命令及个人总结
- 学习OpenGL简单总结
- assert函数简单总结
- Correlated Topic model 的Gibbs sampling
- linux定时任务添加简单总结
- 操作文件方法简单总结(File,Directory,StreamReader,StreamWrite )