pytorch学习笔记(十):learning rate decay(学习率衰减)
2017-04-24 22:06
357 查看
pytorch learning rate decay
本文主要是介绍在pytorch中如何使用
learning rate decay.
先上代码:
def adjust_learning_rate(optimizer, decay_rate=.9): for param_group in optimizer.param_groups: param_group['lr'] = param_group['lr'] * decay_rate
什么是
param_groups?
optimizer通过
param_group来管理参数组.
param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改
param_group['lr']的值来更改对应参数组的学习率.
# 有两个`param_group`即,len(optim.param_groups)==2
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
#一个参数组
optim.SGD(model.parameters(), lr=1e-2, momentum=.9)参考资料
https://discuss.pytorch.org/t/adaptive-learning-rate/320/4
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- pytorch学习笔记(十):learning rate decay(学习率衰减)
- 【deeplearning.ai笔记第二课】2.3 学习率衰减（learning rate decay），局部极小值和鞍点
- 学习率的指数衰减函数 tf.exponetial_decay(a,b,c,d,staircase = Fasle)
- learning_rate&weight_decay&momentum
- Caffe中learning rate 和 weight decay 的理解
- 学习率Learning rate
- Tensorflow学习率的learning rate decay
- 优化方法，一些重要参数learning rate,weight decay,momentum,learing rate decay
- 学习笔记一：learning rate,weight decay和momentum的理解
- Caffe中learning rate 和 weight decay 的理解
- tensorflow学习笔记（三十六）：learning rate decay
- Caffe中learning rate 和 weight decay 的理解
- weight decay and learning rate
- 学习率衰减（learning rate decay）
- Tensorflow实现学习率衰减
- keras learning rate
- Deep Learning Notes(1):值域，学习率，参数迭代形式
- ADADELTA- AN ADAPTIVE LEARNING RATE METHOD
- learning-rate-in-neural-networks
- Plot Learning Rate