caffe之solver.prototxt文件参数设置
2018-03-22 16:03
811 查看
caffe solver参数意义与设置
batchsize:每迭代一次,网络训练图片的数量,例如:如果你的batchsize=256,则你的网络每迭代一次,训练256张图片;则,如果你的总图片张数为1280000张,则要想将你所有的图片通过网络训练一次,则需要1280000/256=5000次迭代。epoch:表示将所有图片在你的网络中训练一次所需要的迭代次数,如上面的例子:5000次;我们称之为 一代。所以如果你想要你的网络训练100代时,则你的总的迭代次数为max_iteration=5000*100=500000次;max_iteration:网络的最大迭代次数如上面的500000次;同理,如果max_iteration=450000,则该网络被训练450000/5000=90代。test_iter:表示测试的次数;比如,你的test阶段的batchsize=100,而你的测试数据为10000张图片,则你的测试次数为10000/100=100次;即,你的test_iter=100;test_interval:表示你的网络迭代多少次才进行一次测试,你可以设置为网络训练完一代,就进行一次测试,比如前面的一代为5000次迭代时,你就可以设置test_interval=5000;base_lr:表示基础学习率,在参数梯度下降优化的过程中,学习率会有所调整,而调整的策略就可通过lr_policy这个参数进行设置;lr_policy:学习率的调整策略:- fixed: 保持base_lr不变.- step: 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter 表示当前的迭代次数
- exp: 返回base_lr * gamma ^ iter, iter为当前迭代次数
- inv: 如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
- multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而mult-
step则是根据stepvalue值变化
- poly: 学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
- sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
momentum:表示上一次梯度更新的权重;weight_decay:表示权重衰减,用于防止过拟合;
总结solver文件个参数的意义
iteration: 数据进行一次前向-后向的训练batchsize:每次迭代训练图片的数量
epoch:1个epoch就是将所有的训练图像全部通过网络训练一次
例如:假如有1280000张图片,batchsize=256,则1个epoch需要1280000/256=5000次iteration
它的max-iteration=450000,则共有450000/5000=90个epoch
而lr什么时候衰减与stepsize有关,减少多少与gamma有关,即:若stepsize=500, base_lr=0.01, gamma=0.1,则当迭代到第一个500次时,lr第一次衰减,衰减后的lr=lr*gamma=0.01*0.1=0.001,以后重复该过程,所以
stepsize是lr的衰减步长,gamma是lr的衰减系数。
相关文章推荐
- Caffe之solver.prototxt文件参数设置
- caffe之solver.prototxt文件参数设置
- caffe之solver.prototxt文件参数设置
- Caffe--solver.prototxt配置文件 参数设置及含义
- Caffe--solver.prototxt配置文件 参数设置及含义
- Caffe各层的参数设置(在prototxt文件中设置)
- solver.prototxt文件里面参数含义及其设置
- caffe中solver.prototxt文件参数解释
- Caffe solver.prototxt 文件参数详解
- 实用:使用caffe训练模型时solver.prototxt中的参数设置解析
- caffe中solver.prototxt参数说明
- caffe在prototxt文件加参数
- caffe中solver.prototxt参数说明
- caffe 有关prototxt文件的设置解读
- caffe 实战系列:proto文件格式以及含义解析:如何定义网络,如何设置网络参数(以AlexNet为例)
- caffe中关于train_val.prototxt和solver.prototxt设置的一些心得
- Caffe 中 solver.prototxt 和 train_test.prototxt 参数详解
- caffe在prototxt文件加参数
- caffe solver.prototxt文件
- 深度学习caffe平台--train_val.prototxt文件中视觉层(Vision Layers)层及参数详解