图示caffe的solver中不同的学习策略(lr_policy)
2017-10-10 17:29
453 查看
在caffe源码的caffe-master/sec/caffe/proto/caffe.proto下记录了不同的学习策略的计算方法:
学习率曲线:
学习率曲线:
学习率曲线:
参数 gamma 的值要小于1。当等于1的时候,学习策略变为了 fixed。由exp的学习率计算方式可以看出,在 gamma = 0.1 的情况下,学习率每迭代一次变为上一次迭代的0.1倍。
学习率曲线:
由上图可以看出,参数 gamma 控制曲线下降的速率,而参数 power 控制曲线在饱和状态下学习率达到的最低值。
学习率曲线:
每一次学习率下降到之前的 gamma 倍。
学习率曲线:
学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候,学习率曲线为一条直线。当 power < 1 的时候,学习率曲线是凸的,且下降速率由慢到快。当 power > 1 的时候,学习率曲线是凹的,且下降速率由快到慢。
学习率曲线:
参数 gamma 控制曲线的变化速率。当 gamma < 0 时,才能控制学习率曲线呈下降趋势,而且 gamma 的值越小,学习率在两头变化越慢,在中间区域变化越快。
// The learning rate decay policy. The currently implemented learning rate // policies are as follows: // - fixed: always return base_lr. // - step: return base_lr * gamma ^ (floor(iter / step)) // - exp: return base_lr * gamma ^ iter // - inv: return base_lr * (1 + gamma * iter) ^ (- power) // - multistep: similar to step but it allows non uniform steps defined by // stepvalue // - poly: the effective learning rate follows a polynomial decay, to be // zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power) // - sigmoid: the effective learning rate follows a sigmod decay // return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize)))) // // where base_lr, max_iter, gamma, step, stepvalue and power are defined // in the solver parameter protocol buffer, and iter is the current iteration.
fixed
参数:base_lr: 0.01 lr_policy: "fixed" max_iter: 400000
学习率曲线:
step
参数:base_lr: 0.01 lr_policy: "step" gamma: 0.1 stepsize: 30 max_iter: 100
学习率曲线:
exp
参数:base_lr: 0.01 lr_policy: "exp" gamma: 0.1 max_iter: 100
学习率曲线:
参数 gamma 的值要小于1。当等于1的时候,学习策略变为了 fixed。由exp的学习率计算方式可以看出,在 gamma = 0.1 的情况下,学习率每迭代一次变为上一次迭代的0.1倍。
inv
参数:base_lr: 0.01 lr_policy: "inv" gamma: 0.1 power: 0.75 max_iter: 10000
学习率曲线:
由上图可以看出,参数 gamma 控制曲线下降的速率,而参数 power 控制曲线在饱和状态下学习率达到的最低值。
multistep
参数:base_lr: 0.01 lr_policy: "multistep" gamma: 0.5 stepvalue: 1000 stepvalue: 3000 stepvalue: 4000 stepvalue: 4500 stepvalue: 5000 max_iter: 6000
学习率曲线:
每一次学习率下降到之前的 gamma 倍。
poly
参数:base_lr: 0.01 lr_policy: "poly" power: 0.5 max_iter: 10000
学习率曲线:
学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候,学习率曲线为一条直线。当 power < 1 的时候,学习率曲线是凸的,且下降速率由慢到快。当 power > 1 的时候,学习率曲线是凹的,且下降速率由快到慢。
sigmoid
参数:base_lr: 0.01 lr_policy: "sigmoid" gamma: -0.001 stepsize: 5000 max_iter: 10000
学习率曲线:
参数 gamma 控制曲线的变化速率。当 gamma < 0 时,才能控制学习率曲线呈下降趋势,而且 gamma 的值越小,学习率在两头变化越慢,在中间区域变化越快。
相关文章推荐
- 图示caffe的solver中不同的学习策略(lr_policy)
- caffe中设置学习率策略 lr_policy: "step"
- caffe的python接口学习(2):生成solver文件
- Caffe学习系列(7):solver及其配置
- Policy以不同策略不同型别生产对象
- caffe的solver参数调优--caffe学习(17)
- Caffe学习系列(7):solver及其配置
- caffe的python接口学习(2):生成solver文件
- caffe学习笔记10-solver.prototxt学习
- caffe下学习速率调整策略
- caffe的python接口学习(2):生成solver文件
- 两种不同的学习策略
- Caffe学习笔记8:solver参数配置
- caffe slover lr_policy
- caffe中base_lr、blobs_lr和lr_policy
- caffe学习:solver优化方法简介
- oracle 策略POLICY学习
- Caffe学习系列(7):solver及其配置
- Caffe——python接口学习(2):生成solver文件
- Caffe学习3-Solver