Visualizing and Understanding Convolutional Networks论文笔记

本文是Matthew D.Zeiler 和Rob Fergus 13年的论文，主要通过Deconvnet（反卷积）来可视化卷积网络，来理解卷积网络，并进行分析和调优；本文通过反卷积，将Alex-net可视化，做了大量的实验，分析了卷积网络的各种性质，提出了在imagenet数据集训练数据之后在其他数据集进行fine-tuning的方法。

Abstract

大型卷积网络在ImageNet数据集上获得了展示了很好的分类性能。但是并不知道为什么它有如此强大的性能，也不知道它怎样可以改进。作者在这篇文章解决了这个问题，他介绍了一个可视化技术可以分析每个中间层的特征，以及每一个分类的操作。通过这种可视化技术，分析了Alex-Net网络，并在ImageNet上进行训练模型，之后在其他数据集中进行fine-tuning取得了很好的结果。

Visualization with a Deconvnet

为了了解卷积网络，需要解释每一层的特征激活值。作者使用了反卷积网络来映射激活值在输入的像素层中。首先进行了卷积操作，在卷积之后使用激活函数矫正，之后进行了降采样，最后使用全连接层进行1000类的分类。

在使用反卷积网络进行可视化时，作者在每个卷积层之后都加入了反卷积层。为了理解某一个给定的pooling特征激活值，先把特征中其他的激活值设置为0；然后利用deconvnet把这个给定的激活值映射到初始像素层。之后，分别进行了(i) unpool, (ii) rectify 和 (iii) filter。



Unpool层是做的反pooling操作，具体操作是将传进来的特征按照记录的方式重新填写，也就是首先记录最大值的位置，在unpooling时，将该位置填写最大值，其他位置填写0，以此来近似pooling前的卷基层特征。

RELU，同卷积网络的RELU相同，通过ReLU函数变换unpooling特征。

Filte，利用卷积过程filter的转置作为核，与输入做卷积操作，来计算卷积前的特征图；从而形成重构的特征。

注：训练过程同卷积网络一样，从256*256大小的图像中截取224*224。

实验与思考

1.从实验结果可以发现，层数越高，所提取的特征越抽象。第2层展示了物体的边缘和轮廓，颜色等，层3展示了纹理，层4层5开始体现类与类的差异。（后两个全卷积层可以作为cnn特征，即是特征层面的）

2. 经过迭代后特征趋于稳定，高层特征想要稳定则迭代次数要比底层特征多



3. 特征不变性，如图5。层数越低，很小的变化都能导致输出特征的变化，但层数越高，影响的结果较小。在最终的正确概率中，略微的位移和缩放都不会改变正确率，但卷积网络无法对旋转产生良好的鲁棒性（如果有良好的对称性，则正确率会产生频率一定的波动）。列1表示图像变化（垂直移动、缩放和旋转），列2表示层1中原始图像特征向量与改变后特征向量的欧氏距离，列3为层7中的欧氏距离，列4是最后分类器输出正确的概率。



4.之后，作者还进行了遮挡实验，并进行了特征繁华能力的实验。