反向传播BP算法
2015-07-09 19:10
183 查看
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
请特别注意上面这个图的一些符号说明如下:
请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。
一. 网络结构
经典的BP网络,其具体结构如下:请特别注意上面这个图的一些符号说明如下:
二. 学习算法
1. 信号的前向传递过程请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。
2. 误差反向传导过程
三. 小结
信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:相关文章推荐
- [XCode] 编译器介绍
- 面向对象_构造函数_this
- 数组 (例:int[] x,y[]; //定义了一维数组x,二维数组y)
- Hibernate3学习笔记(9)—— HQL实现查询对象部分属性
- Armadillo C++ linear algebra library 学习笔记(4)——矩阵的运算
- HDU 3555 Bomb(数位DP模板啊两种形式)
- 杭电1466------简单的dp
- 逻辑回归与softmax回归
- PHP如何添加内置的扩展
- 循环结构 函数的定义
- 循环结构 函数的定义
- 输入字符串反序输出
- 【百度实习录】串讲考核
- 博士生之“初次面试”
- python基本环境配置
- iOS 运行时判断xib是否存在
- int main(int argc,char* argv[])参数详解
- VS项目属性的一些配置项的总结(important)
- poj 1195 Mobile phones (二维树状数组)
- 文章标题