深度学习Caffe实战笔记（7）Caffe平台下，如何调整卷积神经网络结构

授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡。至于修改网络结构多亏了课题组大师姐老庞，在小米实习回校修整，我问她怎么修改网络，她说改网络就是改协议，哎呀，一语惊醒梦中人啊！老庞师姐，你真美！虽然博主之前也想过修改网络协议试一试，鉴于一直不懂网络结构中的各个参数是干啥的，所以一直没去实施，这次终于开始尝试了。

caffe平台实现卷积神经网络实在方便的很啊，只需要一个协议文件定义一下网络结构，再定义一个超参协议文件即可。这里请注意我的措辞哈，只是介绍如何修改网络结构，而不是如何合理的修改网络结构，什么样的网络才是好的，这暂时还没有一个明确的定义，大多数研究者还处于试一试的阶段，如果谁能把这个问题搞清楚，估计能拿一个图灵奖了。

开始trian。

以Alexnet为例

原始的Alexnet是这个样子的（页面问题只可视化部分好了）：



相应的协议文件中的部分：

layer {
name: "conv3"
type: "Convolution"
bottom: "pool2"
top: "conv3"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
}
layer {
name: "relu3"
type: "ReLU"
bottom: "conv3"
top: "conv3"
}
layer {
name: "conv4"
type: "Convolution"
bottom: "conv3"
top: "conv4"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4"
type: "ReLU"
bottom: "conv4"
top: "conv4"
}
layer {
name: "conv5"
type: "Convolution"
bottom: "conv4"
top: "conv5"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu5"
type: "ReLU"
bottom: "conv5"
top: "conv5"
}
layer {
name: "pool5"
type: "Pooling"
bottom: "conv5"
top: "pool5"
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}

我们想要在第四个卷积层后再加上一层，怎么办呢？只需要修改相应的协议即可：

layer {
name: "conv4"
type: "Convolution"
bottom: "conv3"
top: "conv4"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4"
type: "ReLU"
bottom: "conv4"
top: "conv4"
}

layer {
name: "conv4_p"     #添加一层
type: "Convolution"
bottom: "conv4"    #输入层
top: "conv4_p"     #修改一下
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4_p"   #添加一个relu4_p
type: "ReLU"
bottom: "conv4_p"  #修改一下
top: "conv4_p"     #修改一下
}
layer {
name: "conv5"
type: "Convolution"
bottom: "conv4_p"   #输入层修改一下
top: "conv5"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}

修改后的网络结构如下：



其中conv4_p和relu4_p就是我们自己添加进去的一个卷积层。训练一下修改后的网络，看精度会不会提升。。。。。哈哈哈

那么我们再做另一种修改如下：



想要实现这样的分支怎么实现呢？这里就不做解释了，授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡。自己摸索一下吧。。。。

写在后面的话：

再次强调一下，只是介绍了如何修改网络结构，而不是如何合理的修改网络结构，这篇博客仅仅介绍采用哪种手段和可以修改网络结构，而不是如何修改网络结构使效果更好。。。。。知道了如何修改网络结构，那么搭建自己的网络也不是什么难事了吧，授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡，又来了，又来了。哈哈哈

这几篇博客里的内容从最初的如何搭建网络，到如何用网络跑标准数据集，到用现有的网络跑自己的数据集，再到如何修改和搭建自己的网络，基本上涵盖了caffe使用的主要环节，供大家学习参考，我也是刚刚学习，所以有写错和不合适的地方还请大家及时批评指正。后续如果再有时间，我想补充一篇关于网络协议文件参数说明的博客。再后续如果再更新博客，我想做深度学习的基础理论和公式推导之类的工作，毕竟实战加深度才是王道。。。。。

最后用王国维先生的三境界来结束这几个博客：昨夜西风凋碧树，独上高楼，望尽天涯路；衣带渐宽终不悔，为伊消得人憔悴；众里寻他千百度，眸然回首，那人却在灯火阑珊处。