反向传播BP算法
2013-05-23 13:08
232 查看
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
请特别注意上面这个图的一些符号说明如下:
请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
一. 网络结构
经典的BP网络,其具体结构如下:请特别注意上面这个图的一些符号说明如下:
二. 学习算法
1. 信号的前向传递过程请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
三. 小结
信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:相关文章推荐
- 反向传播BP算法
- CNNs学习笔记(4):反向传播BP算法
- 深度学习基础:反向传播即BP算法的推导过程
- 反向传播BP算法
- 反向传播BP算法
- 反向传播BP算法
- 反向传播BP算法
- BP算法(误差反向传播(Error Back Propagation, BP)算法)
- 神经网络——反向传播BP算法应用案例
- 反向传播BP算法
- 反向传播BP算法 http://blog.csdn.net/celerychen2009/article/details/8964753
- 神经网络的反向传播BP算法
- Ng机器学习系列补充:7、神经网络反向传播BP算法(Back Propagation)
- 深度学习——概述及反向传播BP算法
- CNN卷积神经网络---反向传播(1,全链接bp算法)
- 反向传播BP算法
- 反向传播BP算法
- 深度学习中的反向误差传播
- 对正向传播、反向传播和精度检查的理解
- 机器学习:一步步教你理解反向传播方法