反向传播BP算法

深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。

第一篇，从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理，因为网络上有太多的教程可以参考。这里，主要描述其数学上的计算过程，并且采用的符号可能与其它参考书上的符号有很大差异。特别是，斯坦福官方网站上对深度网络中所引用的符号有太多的小标，上标，给初学者带来不便。

一. 网络结构

经典的BP网络，其具体结构如下：





请特别注意上面这个图的一些符号说明如下：

二. 学习算法

1. 信号的前向传递过程



请特别注意上述公式中的下标，这里，权值矩阵包含了神经元节点本身的偏置，所以权值矩阵多了一列。

2. 误差反向传导过程

三. 小结

信号的前向传递和误差反向传递过程都可以用递归公式描述。其实，就几个公式而已，把相关的几个重要公式再次总结如下：