多层神经网络和深度学习网络（DBN、SDA）的区别

区别在于训练的过程。多层神经网络每次训练都从第一层计算到最后一层，然后反向传播误差来更新连接权重，这样的问题是如果层数太多，最后一层的误差在反向传播过程中会逐渐消失，靠前的层得不到更新。而深度学习网络（DBN、SDA）的训练方式是“逐层”训练，每一层都以前面一层作为输入和输出，自己作为中间层，组成一个编码解码器式的3层神经网络进行单独训练。从第一层开始，训练得到第二层，依此类推训练到倒数二层，前面这些层都是无监督的，最后一层的训练则是常规有监督式的训练。总之，DBN和SDA的训练不是从第一层到最后一层的拉通式训练，而是依次训练每一层去表示前一层。后来的深度学习网络用dropout、pooling、cnn等方法也是为了达到类似的目的。

DBN：deep belief network

SDA: stacked denoising autoencoders