Deep Learning for Content-Based Image Retrival:A Comprehensive Study 学习笔记

3.1Deep Convolutional Neural Networks

采用的深度学习模型是[1]

为了减少过拟合，使用了两种数据增强的方式：（1）从原始的256×256的图像中通过转变和水平映射（translation and horizontal reflection）提取出随机的224×224的块训练使用（2）为了捕获亮度和颜色的不变性（to capture the invariance in illumination and color），在数据库增加了大量随机的RGB像素值的主成份。通过作者在[1]中可知，这种方式可以减少1%的错误。

在输入层的后面是5个卷积层，第一个卷积层和第二个卷积层之后是一个归一化层（normalization layer）和最大池化层（max pooling layer）。这个网络结构中有几个新颖或者不同的特点使得比之前的卷积网络效果更好。（1）神经元输出函数f是非线性的：Rectified Linear units(ReLUs),和tanh函数相比，可以减少神经网络的训练时间。（2）采用了局部响应归一化（local
response normalization）（LRN），这可以对泛化（generalization）有帮助。（3）采用重叠池化（overlapping pooling）的方法。论文中[1]中，作者使用了重叠池化，其他的设置都不变的情况下， top-1和top-5 的错误率分别减少了0.4% 和0.3%。

在卷积层的后面有两个连接4096个神经元的全连接层，记为FC1和FC2，最后是一个输出层，和FC2连接，是一个softmax层来输出1000个分类。

3.2Feature Representation for CBIR

使用CNNs在图像分类上已经有了很多研究，在图像检索的应用还是一个新领域。作者对于深度学习作用于CBIR提出了两个问题：（1）在ImageNet上，如何用训练好的用于分类的CNNs来用于检索（2）在可能缺少训练数据的情况下，如何产生一个通过学习特征来进行CBUR的CNNs模型。

特别地，采用一个训练好的CNNs模型的FC1,FC2,FC3层作为CBIR 的特征表示。其中的FC3是从输出层得到的特征。这种方法对于一个新的数据集的效果不好，下面描述了三种特征表示的方法。

3.2.1Direct Representation

直接用模型的后三层作为特征表示

3.2.2Refining by Similarity Learing

使用了在线相似性学习算法（online similarity learning algorithm）

3.2.3 Refining by Model Retraining

（1）Refining with class label

（2）Refining with side information

[1]Alex Krizhevsky,Ilya Sutskever,Geoffrey E. Hinton.ImageNet Classification with Deep ConvolutionalNeural Networks