Caffe 中 BN（BatchNorm ) 层的参数均值、方差和滑动系数解读

              Caffe 中 BN（BatchNorm ) 层的参数均值、方差和滑动系数解读

Caffe 的 BN（BatchNorm ) 层共有三个参数参数：均值、方差和滑动系数，BN层结构如下：

layer {

bottom: "res2a_branch2b"
top: "res2a_branch2b"
name: "bn2a_branch2b"
type: "BatchNorm"
batch_norm_param {
use_global_stats: false       //训练阶段和测试阶段不同，
}
include: { phase: TRAIN }

}
layer {
bottom: "res2a_branch2b"
top: "res2a_branch2b"
name: "bn2a_branch2b"
type: "BatchNorm"
batch_norm_param {
use_global_stats: true
}
include: { phase: TEST }

}

use_global_stats：如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。该参数缺省的时候，如果

            是测试阶段则等价为真，如果是训练阶段则等价为假。

moving_average_fraction：滑动平均的衰减系数，默认为0.999
eps：分母附加值，防止除以方差时出现除0操作，默认为1e-5（不同框架采用的默认值不一样），

在Caffe中使用Batch Normalization需要注意以下两点：

1. 要配合Scale层一起使用，具体参见http://blog.csdn.net/sunbaigui/article/details/50807398以及Residual Network

2. 训练的时候，将BN层的use_global_stats设置为false，然后测试的时候将use_global_stats设置为true，不然训练的时候会报“NAN”或者模型不收敛。

—————————— 可选参数 ——————————

可选参数定义在 src\caffe\proto\caffe.proto 中，共有3个：

message BatchNormParameter {
// 如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。
// 该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。
optional bool use_global_stats = 1;

// 滑动平均的衰减系数，默认为0.999
optional float moving_average_fraction = 2 [default = .999];

// 分母附加值，防止除以方差时出现除0操作，默认为1e-5
optional float eps = 3 [default = 1e-5];
}

[/code]

—————————— 前向传播 ——————————

说前向传播之前，先注意几点：

(1)均值和方差的个数：

// 如果bottom是1维的，则均值和方差个数为1，否则等于通道数
if (bottom[0]->num_axes() == 1)
channels_ = 1;
else
channels_ = bottom[0]->shape(1);

[/code]1

(2)均值和方差的更新：

均值和方差采用的是滑动平均的更新方式。因此，BN层共存储了3个数值：均值滑动和、方差滑动和、滑动系数和。

计算公式如下：

设滑动系数 moving_average_fraction 为
λ
，m = bottom[0]->count() / channels_，存储的三个数值(均值滑动和、方差滑动和、滑动系数和)分别为
μold,σold,sold,
当前batch计算的均值和方差为μ,σ。则：

snew=λsold+1;
μnew=λμold+μ;
对于方差，采用的是无偏估计，

σnew=λσold+mσif(m>1),m=(m−1)/m;

(3)均值和方差的使用：

caffe到目前仍然没有实现和论文原文保持一致的BN层，即没有
α和β
参数，因此更新公式就比较简单了，为每一个channel施加如下公式：

x=x−μσ;
但是需要注意的是，我们存储的是均值和方差的滑动和，因此还要做一些处理。

还是设存储的三个数值(均值滑动和、方差滑动和、滑动系数和)分别为
μold,σold,sold。

首先要计算一个缩放系数s=1/soldif(sold==0),s=1,则：

μ=s∗μold;
方差的计算还是要稍微复杂一点：

σ=s∗σold;
σ=(σ+eps)0.5http://blog.csdn.net/shuzfan/article/details/52729424#t0

参考链接：http://blog.csdn.net/shuzfan/article/details/52729424