马尔科夫链蒙特卡洛(Markov chain Monte Carlo)

(学习这部分内容大约需要1.3小时)

摘要

马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对目标分布 \(p\) 进行采样.

预备知识

学习MCMC需要以下预备知识

条件分布: MCMC常常被用于从条件分布中采样.

蒙特卡洛估计(Monte Carlo estimation)

马尔科夫链(Markov chains)

学习目标

知道基本的问题设定: 即你希望从一个难以处理的分布中采样近似样本.

能够检查马尔科夫链是否达到稳态分布, 可以使用细致平衡条件(detailed balance conditions)或者直接根据定义.

明白为什么我们可以平均几个具有相同稳态分布 \(p\) 的蒙特卡洛算子, 并获得一个稳态分布也是 \(p\) 的算子.

核心资源

(阅读/观看其中一个)

免费

Coursera: Probabilistic Graphical Models (2013)

简介: 一门概率图模型的在线课程

Lecture "Markov Chain Monte Carlo"

Lecture "Using a Markov Chain"

网站链接

作者: Daphne Koller

备注:

点击"Preview"观看视频

Machine learning summer school: Markov chain Monte Carlo (2009)

简介: 一个MCMC方法的视频教程

位置: 29:08 to 69:40

网站

作者: Iain Murray

Information Theory, Inference, and Learning Algorithms

简介: 一门研究生机器学习和信息论教材

位置: Section 29.6, "Terminology for Markov chain Monte Carlo methods," pages 372-374

网站

作者: David MacKay

付费

Pattern Recognition and Machine Learning(PRML)

简介: 一本研究生机器学习教材, 聚焦于贝叶斯方法

位置: Section 11.2, pages 537-542

网站

作者: Christopher M. Bishop

其他依赖知识:

多元高斯分布

Probabilistic Graphical Models: Principles and Techniques

简介: 一本非常全面的概率AI研究生教材

位置: Section 12.3-12.3.3, pages 505-515

网站

作者: Daphne Koller,Nir Friedman

相关知识

一些常用的 MCMC 算法包括:

Gibbs采样: 每个变量在已知其他变量的条件分布中采样

Metropolis-Hastings, 非常一般化的方法

Sequential importance sampling 是另一类采样方法

虽然 MCMC 通常用作近似推断技术, 但它也可以用于获得精确的样本.

我们可以使用 spectral graph 理论来分析 MCMC 采样器的 mixing 率

返回贝叶斯机器学习路线图