神经网络的 Delta 学习规则(learning rule)
2017-03-02 09:30
946 查看
1. δ 学习规则
1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ 学习规则,该规则亦可称为连续感知器学习规则(与离散感知器学习规则相并行)。Δ 规则的学习信号规定为:r=(dj−f(wTjx))f′(wTjx)=(dj−oj))f′(netj)
j 表示不同的迭代过程。上式定义的学习信号称为 δ。显然 δ 规则要求转移函数可导。
2. 由 δ 规则到最小平方误差
定义神经元输出与期望输出之间的平方误差为:E=12(dj−oj)2=12(dj−f(wTjx))2
欲使误差 E 最小,梯度的变化方向应是负梯度方向:
Δwj=−η∇E
其中:
∇E=−(dj−f(wTjx))f′(wTjx)x
因此:
Δwj=η(dj−f(wTjx))f′(wTjx)x=η(dj−f(wTjx))f′(netj)x
相关文章推荐
- 深度学习笔记三:线性神经网络,delta学习规则,梯度下降法
- 神经网络设计_学习规则总结
- 机器学习_算法_神经网络_BP
- 第五章(1.4)深度学习——神经网络架构和原理
- pybrain学习教程(三):训练神经网络
- 【神经网络与深度学习】chainer边运行边定义的方法使构建深度学习网络变的灵活简单
- 【Python开发】【神经网络与深度学习】网络爬虫之图片自动下载器
- 深度学习神经网络激活函数的优点
- 【神经网络与深度学习】【计算机视觉】Fast R-CNN
- 什么是神经网络 (深度学习第一章)?
- 改进神经网络及深度学习的学习方法
- CS231n学习记录Lec7 Training训练神经网络(上)
- 七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理
- 【Scikit-Learn 中文文档】18 神经网络模块(监督的)- 监督学习 - 用户指南 | ApacheCN
- CS231n 学习笔记(3)——神经网络 part3 :最优化
- 神经网络与深度学习 第二章 反向传播算法(两个假设、四个基本方程及其证明、代码及注释)
- 神经网络浅讲:从神经元到深度学习
- 深度学习系列(2)——神经网络与深度学习
- 深度学习中的数学与技巧(13):神经网络之激活函数
- 吴恩达(Andrew Ng)深度学习工程师笔记 - 第一门课-神经网络和深度学习-第一周深度学习概论-第三节:用神经网络进行监督学习