反向传播与它的直观理解
2017-01-25 11:00
246 查看
为了感谢大神,我是跪在电脑前fork的。
问题描述与动机:
大家都知道的,其实我们就是在给定的图像像素向量x和对应的函数f(x),然后我们希望能够计算f在x上的梯度(∇f(x))
我们之所以想解决这个问题,是因为在神经网络中,f对应损失函数L,而输入x则对应训练样本数据和神经网络的权重W。举一个特例,损失函数可以是SVM
loss function,而输入则对应样本数据(xi,yi),i=1…N和权重W以及偏移项b。需要注意的一点是,在我们的场景下,通常我们认为训练数据是给定的,而权重是我们可以控制的变量。因此我们为了更新权重的等参数,使得损失函数值最小,我们通常是计算f对参数W,b的梯度。不过我们计算其在xi上的梯度有时候也是有用的,比如如果我们想做可视化以及了解神经网络在『做什么』的时候。
直观地理解,反向传播可以看做图解求导的链式法则。
![](https://img-blog.csdn.net/20170125104443481?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxNDM2NTg2Mg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
![](https://img-blog.csdn.net/20170125104619780?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxNDM2NTg2Mg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
最后我们用一组图来说明实际优化过程中的正向传播与反向残差传播:
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img02.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img03.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img04.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img05.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img06.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img07.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img08.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img09.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img10.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img11.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img12.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img13.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img14.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img15.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img16.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img17.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img18.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img19.gif)
如果帮到你了,请赞赏支持:
![](https://img-blog.csdn.net/20170704101557285?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxNDM2NTg2Mg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
问题描述与动机:
大家都知道的,其实我们就是在给定的图像像素向量x和对应的函数f(x),然后我们希望能够计算f在x上的梯度(∇f(x))
我们之所以想解决这个问题,是因为在神经网络中,f对应损失函数L,而输入x则对应训练样本数据和神经网络的权重W。举一个特例,损失函数可以是SVM
loss function,而输入则对应样本数据(xi,yi),i=1…N和权重W以及偏移项b。需要注意的一点是,在我们的场景下,通常我们认为训练数据是给定的,而权重是我们可以控制的变量。因此我们为了更新权重的等参数,使得损失函数值最小,我们通常是计算f对参数W,b的梯度。不过我们计算其在xi上的梯度有时候也是有用的,比如如果我们想做可视化以及了解神经网络在『做什么』的时候。
直观地理解,反向传播可以看做图解求导的链式法则。
最后我们用一组图来说明实际优化过程中的正向传播与反向残差传播:
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img02.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img03.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img04.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img05.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img06.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img07.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img08.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img09.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img10.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img11.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img12.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img13.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img14.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img15.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img16.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img17.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img18.gif)
![](http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop_files/img19.gif)
如果帮到你了,请赞赏支持:
相关文章推荐
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- Coursera | Andrew Ng (01-week-3-3.10)—直观理解反向传播
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 如何理解反向传播 Backpropagation 梯度下降算法要点
- 理解神经网络中的反向传播法
- [NN] 对于BackPropagation(BP, 误差反向传播)的一些理解
- [置顶] 基于DL的计算机视觉(5)--理解反向传播
- CNN卷积神经网络反向传播机制的理解
- 机器学习:一步步教你理解反向传播方法
- 初学者——从NN到RNN,深刻理解以softmax为激活函数的反向传播,有代码
- 对正向传播、反向传播和精度检查的理解
- 一张图理解训练的BP反向传播
- 对BP神经网络的正向传播与反向传播的理解
- 反向传播BP 算法之一种直观的解释