您的位置:首页
『PyTorch』第十三弹_torch.nn.init参数初始化
2018-03-03 16:08
996 查看
初始化参数的方法
nn.Module模块对于参数进行了内置的较为合理的初始化方式,当我们使用nn.Parameter时,初始化就很重要,而且我们也可以指定代替内置初始化的方式对nn.Module模块进行补充。除了之前的.data进行赋值,或者.data.初始化方式外,我们可以使用torch.nn.init进行初始化参数。
from torch.nn import init linear = nn.Linear(3, 4) t.manual_seed(1) init.xavier_normal(linear.weight) print(linear.weight.data) import math std = math.sqrt(2)/math.sqrt(7.) linear.weight.data.normal_(0, std)
不同层类型定制化初始化
除此之外,我们可以使用如下的方式对不同的类型的层(卷积层、全连接层……)进行不同的赋值方式,for name, params in net.named_parameters(): if name.find('linear') != -1: params[0] # weights params[1] # bias elif name.find('conv') != -1: pass elif name.find('norm') != -1: pass
这里使用了str.find()方法,如下:
'asda'.find('a')
Out[3]:
0
即返回第一个find参数在原str中的位置索引。
相关文章推荐
- PyTorch官方中文文档:torch.nn.init
- 在C#代码中获取Silverlight的初始化initparams参数
- python PyTorch参数初始化和Finetune
- PyTorch参数初始化和Finetune
- 创建一个数组, 实现函数init()初始化数组、 实现empty()清空数组、 实现reverse()函数完成数组元素的逆置。 要求:自己设计函数的参数,返回值
- 类切换 与 __init__参数自动初始化实例变量
- 「Deep Learning」理解Pytorch中的「torch.nn」
- 创建一个数组, 实现函数init()初始化数组、 实现empty()清空数组、 实现reverse()函数完成数组元素的逆置。 要求:自己设计函数的参数,返回值。
- web.xml中的初始化参数(init-param)与上下文参数(context-param)
- 创建一个数组, 实现函数init()初始化数组、 实现empty()清空数组、 实现reverse()函数完成数组元素的逆置。 要求:自己设计函数的参数,返回值。
- 『PyTorch』第十五弹_torch.nn.Module的属性设置&查询
- PyTorch学习总结(五)——torch.nn
- [置顶] torch.nn.init(nn/init.py)
- PyTorch参数初始化和Finetune
- 工作队列的初始化(INIT_WORK的参数问题)
- 模块化思想:创建一个数组, 实现函数init()初始化数组、 实现empty()清空数组、 实现reverse()函数完成数组元素的逆置。 要求:自己设计函数的参数,返回值。
- PyTorch官方中文文档:torch.nn.functional
- PyTorch参数初始化方法
- PyTorch中使用预训练的模型初始化网络的一部分参数
- 创建一个数组, 实现函数init()初始化数组、 实现empty()清空数组、 实现reverse()函数完成数组元素的逆置。自己设计函数的参数,返回值。