深度学习---DBN overview

DBN的主要发起者是大牛geoffrey E.Hinton，如果看数学推导，就看他的论文就好了。

DBN是Generative模型,DBN解决了传统BP 算法的以下问题：

1) 需要大量的标注训练数据; 2) 收敛缓慢； 3) 容易收敛到局部最优点

DBN实质上是堆叠的RBM，顶层连接输出层用于分类。DNB的初始训练是用contrastive divergence 算法对每个RBM进行训练（无监督），然后使用BP进行有监督训练。

DBN的训练，应该有一些需要注意的tricks，以后再详细了解。

DBN的入门应用例子，如MINIST handwrtten character recognition task.

DBN也在不断发展中，如用堆叠的auto-encoder来代替RBMs.

当然这部分属于深度学习的高级部分了，以后才会涉猎。