CVPR17最佳论文－densenet 及 resnet ：为什么可以消除梯度反向传播的梯度弥散问题

说是原创，其实是看了大牛的知乎来的，链接：https://zhuanlan.zhihu.com/p/28124810?group_id=883267168542789632

但是看知乎下面的评论，这个观点蛮有争议的，大家还是认为梯度弥散和爆炸的解决主要归功于BN. resnet的残差则主要是使得学习更快了（虽然这一点我还没理解清楚为什么就学习更快了？！！？）

不过感觉理解resnet可以解决弥散问题，也是有点合理的。。。。如下：

首先是resnet，直接上图：

首先我觉得这张图对理解反向梯度的传播有点辅助作用：



来自cs视频的图。。。。





精髓就在于直接连过来的那个x了。h（x）＝f（x）＋ x，h（x）对 x 求偏导，值为1，这个1直接传到block的最前端，保证了来自后一层的梯度值完好的传过了这一层然后进入到前一层，使得浅层的weights也可以得到很好的训练。真的很精髓！！！

那么接下来是densenet，它的结构如下：





ok，以上，关于resnet的使学习加快的理解我会补充的，得等我理解清楚再来写啊。。。欢迎大家指正～！