Training Very Deep Networks公式推导

原论文：Training Very Deep Networks

作者：Rupesh Kumar Srivastava Klaus Greff Jurgen Schmidhuber

时间：22
Jul 2015

本文的大部分观点来自于这篇论文，并且加入了一些自己的理解。该博客纯属读书笔记。

假设一个简单的由L层隐层构成的网络，我们令它的参数去拟合函数H，为了推导方便，我们假设输入输出的维度相同。那么我们可以得到输出y：


1

通过实验证明求解器很难优化这个函数，所以我们将这个函数做适当的变形。我们加了两个新的函数T和C：


2

在这里我们可以简单的将函数T理解为实现了对原函数H，也就是输入输出的映射函数的一个放大或缩小的功能。函数C是对输入C的直接传送，使输入不经过函数H的映射直接加到输出y上。they express how much of the output is produced by transforming the input and carrying it 。

为了让式子更简洁，我们让C=1-T，得到：


3

我们发现：

4

当T=0，输入和输出变成了恒等映射关系，当T=1，输入和输出变成了原来的y=H(x)。

而当T=0.5时我们发现，y=0.5*H(x)+0.5x，再用F(x)代替H(x)*2，我们发现y=x+F(x)，所以残差函数实际上是函数3的一个特例。

文章除了实验以外，并没有给出足够的理论依据。