Deep learning系列（十四）Layer和solver中参数详解

1. 前言

在caffe结构解析一节中介绍了caffe中重要的四个模块：Net，Layers，Blobs和Solver。然而对Layer和Solver两个模块只是简单介绍了其结构，其中一些重要的参数没给出解释，最近复习了Andrew NG和Li feifei的深度学习教程后，大概理解了这些参数的含义，下面给出具体介绍。

2. Layer参数详解

在caffe结构解析一节中介绍了Layer可以分为四部分：

名字；

类型；

连接结构，包括输入和输出的blob；

参数。

对于前三部分通过读.prototxt文件可以直观理解，而参数部分，则涉及深度学习中的许多知识，包括数据预处理，参数初始化，卷积核和学习率等。

2.1. 数据预处理

Lenet的data层如下所示：

layer {
name: "mnist"
type: "Data"
data_param {
source: "mnist_train_lmdb"
backend: LMDB
batch_size: 64
scale: 0.00390625
}
top: "data"
top: "label"
}

data_param中四个参数的含义是：

source项是存放LMDB数据的位置；

backend指出数据的后缀是LMDB，而不是jpg或者其它；

batch_size指SGD中一批数据的大小是64；

scale的大小是0.00390625，其等于1/256，意思是将原始图像数据（大小范围为[0,255]）归一化到[0,1)范围内。

2.2. 学习率

第一个卷积层如下所示：

layer {
name: "conv1"
type: "Convolution"
param { lr_mult: 1 }
param { lr_mult: 2 }
convolution_param {
num_output: 20
kernel_size: 5
stride: 1
weight_filler {
type: "xavier"
}
# weight_filler {
#   type: "gaussian"
#   std: 0.01
# }
bias_filler {
type: "constant"
}
}
bottom: "data"
top: "conv1"
}

其中两个lr_mult分别代表了权重项（通常用W表示）和偏置项（通常用b表示）的学习率。第一个lr_mult设置为1表示权重项的初始化学习率等于solver中定义的初始化学习率（这儿为0.01），第二个lr_mult设置为2表示偏置项的初始化学习率等于solver中定义的初始化学习率的二倍（这儿为0.02）。

2.3. 参数初始化

weight_filler设置为”xavier”的含义是权重W的初始化根据前一层blob和后一层blob的神经单元数量来确定，参考的是Understanding the difficulty of training deep feedforward neural networks这篇文章，python的示例代码可以表示为：

nn_input_dim = 2
nn_hdim = 3
w = np.random.randn(nn_input_dim,nn_hdim) / sqrt(nn_input_dim+nn_hdim)

详细解释可以参考参数初始化这一篇文章的第二节。

屏蔽掉的部分weight_filler设置”gaussian”，权重W的初始化为标准差为0.01的高斯分布，参考参数初始化的第一节，python的示例代码可以表示为：

nn_input_dim = 2
nn_hdim = 3
W = 0.001* np.random.randn(nn_input_dim,nn_hdim)

bias_filler设置为”constant”，这儿表示常数，默认值为0，可以参考参数初始化的第三节。

2.4. 卷积核

convolution_param中前三个参数分别代表卷积核的数量为20个，尺寸为5*5，步长为1，在python中输出这一层的权重大小为：

[('conv1', (20, 1, 5, 5))]

第二维为1的原因是MNIST数据库中图片是灰度图，仅含一个通道。

3. Solver参数详解

一种使用SGD+momentum的配置的solver文件如下所示：

# The train/test net protocol buffer definition
net: "examples/mnist/lenet_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# lr_policy: "step"
# gamma: 0.1
# stepsize: 100000
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 10000
# snapshot intermediate results
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
# solver mode: CPU or GPU
solver_mode: GPU

SGD+momentum的配置的三个参数含义为：

base_lr: 0.01代表初始化学习率为0.01；

momentum: 0.9代表使用常数动量，这儿设置为0.9；

weight_decay: 0.0005代表损失函数中参数的正则化系数为0.0005；

lr_policy: “inv”要单拿出来说，算法迭代过程中逐步降低学习率通常可以加快算法的收敛速度，这儿”inv”代表着倒数衰减（Inverse decay）,可以参考随机梯度下降这篇文章的第三节，学习率衰减的表达式为：

lr=baselr∗power/(1+gamma∗t)lr = baselr * power / (1 + gamma * t)，其中t为迭代次数，示意图为：



除了倒数衰减外，caffe还给出了逐步衰减（lr_policy: “step”），同样见随机梯度下降这篇文章的第三节，示意图为：



Solver中其它参数可以通过英文注释很好的理解，就不介绍了。