Improving neural networks by preventing co-adaptation of feature detectors （译文）

F Convolutional Neural Networks

其次，在CNN的神经元适用的过滤器，只在局部范围内和那些在形态组织上集中的神经元位置。这是合理的，对于数据集，在自然图像的像素情况下，我们期望输入尺寸的依赖性是距离的递减函数。特别是，我们预计有用的线索，以输入图像对象的身份可以通过检查图像的小的局部邻域找到。第三，在组的所有神经元应用相同的过滤器，但作为刚刚提到的，它们适用于它在输入图像的不同位置。这是合理的数据集大致静止的统计数据，如自然的图像。我们预计，同种结构可以出现在输入图像的所有位置，因此它是合理的，通过过滤它们以同样的方式平等对待所有位置。以这种方式，CNN的一组神经元对它的输入用卷积运算处理。通常在CNN的单层乘以多组神经元，每个执行不同的滤波卷积。这些神经元组成为下一层不同的输入通道。在像素级上，在卷积组神经元邻域感受域的边界间的距离决定应用卷积运算的步长。较大的步长意味着每个组较少的神经元。我们的模型一个像素用一个步长，除非另有说明。

此卷积共享滤波器结构中的一个重要结果是大幅度减少了参数的数目，相对于应用不同的过滤器的所有神经元的一个神经网络。这减少了网络的代表能力，但它也降低了过拟合的能力，所以dropout远不如卷积层有优势。

F.1 Pooling

通常cnns还设有“池化”层，其总结了卷积层神经元的局部块的活动。本质上，一个池化层通过卷积层和下采样层后的输出作为输入。一个池化层包含多个池化单元，可形态的布置，并连接到从同组卷积单元输出的一个局部邻域。每个池化单元接着计算一些多组邻域的输出函数。通常函数有最大和平均两种。池化层有这样的单元，分别叫做最大池化和平均池化。池化单元通常间隔去掉至少几个像素，所以池化单元的总数要少于上层卷积单元的输出。使得间隔小于邻域的大小， 池化单元概括产生重叠池化。这种变异使池化层产生的卷积单元输出粗糙的编码，这是我们已经发现，以帮助推广在我们的实验。我们将此间距作为池化单元之间的步长，类似于卷积单元之间的步长。池层引入的局部平移不变性到网络，从而提高了概括的水平。他们是复杂的细胞在哺乳动物的视觉皮层的类似物，这集中多个简单的细胞活动。这些细胞已知表现出类似相不变性性质。

F.2 Local response normalization

我们的网络也包括响应标准化层。这种类型的层鼓励属于不同组的神经元之间的大型激活竞争。