神经网络中反向误差反馈
2015-07-05 19:06
399 查看
反向反馈
1 提出背景:
1.1简单的只包含输入层和输出层的神经网络不能模拟复杂模型
1.2为了提高神经网络使用的广泛性,可以像感知器一样,增加大量的特征
1.3 神经网络的中心问题:(1)怎样学习多层神经网络(包含隐藏层)的特征;(2)怎样学习隐藏层的权重
2 与随机的改变权重相比:
2.1随机的改变权重方式是一种reinforcement learning,其目标是为了实现最优值。
2.2随机的改变权重方式,并不是高效的。
(1)首先,根据前向反馈,随机改变的值要经过很多层才能到达最后的结果。
(2)然后,的大多数变化都会使结果变得更糟糕
3 反向反馈:
3.1核心:
误差偏导的传递,(即计算来自输出层的每一层隐藏层的误差偏导)
3.2理论:
显而易见的是,改变第i层的第j个单元,势必影响到第i+1层与之相关联的所有单元。所以,当我们在计算从第i+1层传递到第i层的第个j单元的误差偏导时,是需要考虑第i+1层中所有与j相关联的单元(即求和)。因为在误差偏导传递的过程中,也存在权重的问题,此时,采用和前向反馈相同的权重,那么我们就可以推导出权重对于最后输出结果的影响,从而达到改变权重,实现结果最优的状态
3.3 计算过程(计算某个单个的权重)
1 提出背景:
1.1简单的只包含输入层和输出层的神经网络不能模拟复杂模型
1.2为了提高神经网络使用的广泛性,可以像感知器一样,增加大量的特征
1.3 神经网络的中心问题:(1)怎样学习多层神经网络(包含隐藏层)的特征;(2)怎样学习隐藏层的权重
2 与随机的改变权重相比:
2.1随机的改变权重方式是一种reinforcement learning,其目标是为了实现最优值。
2.2随机的改变权重方式,并不是高效的。
(1)首先,根据前向反馈,随机改变的值要经过很多层才能到达最后的结果。
(2)然后,的大多数变化都会使结果变得更糟糕
3 反向反馈:
3.1核心:
误差偏导的传递,(即计算来自输出层的每一层隐藏层的误差偏导)
3.2理论:
显而易见的是,改变第i层的第j个单元,势必影响到第i+1层与之相关联的所有单元。所以,当我们在计算从第i+1层传递到第i层的第个j单元的误差偏导时,是需要考虑第i+1层中所有与j相关联的单元(即求和)。因为在误差偏导传递的过程中,也存在权重的问题,此时,采用和前向反馈相同的权重,那么我们就可以推导出权重对于最后输出结果的影响,从而达到改变权重,实现结果最优的状态
3.3 计算过程(计算某个单个的权重)
相关文章推荐
- HTTP报文
- http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xml or the jar files deployed wit
- 神经网络线性神经元
- python httplib2应用get post
- 【Go】http server 性能测试
- 使用telnet访问某些服务器的端口,以测试可达性,为何有时要好几秒才能成功建立连接?
- 解决Connection to http://192.168.1.* refused
- iOS后台网络任务
- rtp rtcp 协议相关分析
- 直接将网络文件转存到百度云盘
- Imageview显示网络图片
- 【iOS】网络加载图片缓存与SDWebImage
- Android检测网络是否正常
- 关于加载网络图片时候 ,URL.openstream抛出异常的问题的解决
- javaweb学习总结(八)——HttpServletResponse对象(二)
- 开源C/C++网络库比较 ace &&bosst
- 再学贝叶斯网络--TAN树型朴素贝叶斯算法
- [华为机试练习题]54.判断任意两台计算机的IP地址是否属于同一子网络
- linux阻塞式网络小程序
- 网络限制解决方案