caffe— 使用模型进行fine tune

  http://www.cnblogs.com/alexcai/p/5469478.html

之前的教程我们说了如何使用caffe训练自己的模型，下面我们来说一下如何fine tune。

所谓fine tune就是用别人训练好的模型，加上我们自己的数据，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。

fine tune的好处在于不用完全重新训练模型，从而提高效率，因为一般新训练模型准确率都会从很低的值开始慢慢上升，但是fine tune能够让我们在比较少的迭代次数之后得到一个比较好的效果。在数据量不是很大的情况下，fine tune会是一个比较好的选择。但是如果你希望定义自己的网络结构的话，就需要从头开始了。

 

这里采用一个实际的例子，钱币分类

1、我们收集了2W张图片，将其中4000张作为测试集，剩下作为训练集。

2、接着我们使用上一篇博客中的方法，生成words.txt、train.txt、test.txt三个文件，这里可以不用生成lmdb，因为caffe支持直接指定图片文件。

3、编辑配置文件，这里我们参考finetune_flickr_style例子（它是用caffenet的训练结果进行finetune的），拷贝其配置文件：

solver.prototxt

net: "examples/money_test/fine_tune/train_val.prototxt"
test_iter: 20
test_interval: 50
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 2000
display: 1
max_iter: 10000
momentum: 0.9
weight_decay: 0.0005
snapshot: 1000
snapshot_prefix: "examples/money_test/fine_tune/finetune_money"
solver_mode: CPU 

train_val.prototxt

其实fine tune使用的网络跟原有网络基本一样，只不过每层调整了一些参数，具体可以参照finetune_flickr_style和caffenet网络配置的对比

name: "FlickrStyleCaffeNet"
layer {
name: "data"
type: "ImageData"
top: "data"
top: "label"
include {
phase: TRAIN
}
transform_param {
mirror: true
crop_size: 227
mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
}
image_data_param {
source: "examples/money_test/data/train.txt"
batch_size: 50
new_height: 256
new_width: 256
}
}
layer {
name: "data"
type: "ImageData"
top: "data"
top: "label"
include {
phase: TEST
}
transform_param {
mirror: false
crop_size: 227
mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
}
image_data_param {
source: "examples/money_test/data/test.txt"
batch_size: 50
new_height: 256
new_width: 256
}
}
..........
layer {
name: "fc8_flickr"
type: "InnerProduct"
bottom: "fc7"
top: "fc8_flickr"
# lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained
param {
lr_mult: 10
decay_mult: 1
}
param {
lr_mult: 20
decay_mult: 0
}
inner_product_param {
num_output: 17    #这里我们的分类数目
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
}
.....

deploy.prototxt

用于实际分类时的网络

.........
layer {
name: "fc8_flickr"
type: "InnerProduct"
bottom: "fc7"
top: "fc8_flickr"
# lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained
param {
lr_mult: 10
decay_mult: 1
}
param {
lr_mult: 20
decay_mult: 0
}
inner_product_param {
num_output: 17
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
}
...........

4、开始训练

./build/tools/caffe train -solver examples/money_test/fine_tune/solver.prototxt -weights models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel

其中model指定的是caffenet训练好的model。

使用fine tune的效果比较好，经过3400多次迭代后，测试集上正确率达到92%，实际测试效果也比较理想。这也许就是深度学习的优势，不需要仔细地挑选特征，只要数据足够，也能得到不错的效果。
GPU:

./build/tools/caffe train -solver models/finetune_flickr_style/solver.prototxt -weights models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel -gpu 0