在神经网络中weight decay起到的做用是什么?momentum呢?normalization呢?
2017-06-06 16:25
295 查看
作者:陈永志
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
weight decay是提高最终收敛的正确率的还是提高收敛速度的?
同理,momentum呢?normalization呢?
一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为
,
沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中
即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即
)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将
按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
在神经网络中weight decay起到的做用是什么?momentum呢?normalization呢?
weight decay是提高最终收敛的正确率的还是提高收敛速度的?同理,momentum呢?normalization呢?
一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为
,
沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中
即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即
)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将
按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
相关文章推荐
- 神经网络中weight decay起到的做用是什么?momentum呢?normalization呢?
- 在神经网络中weight decay、momentum、batch normalization各自意义
- 什么是神经网络
- 深度学习之一---什么是神经网络
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
- 深度学习和神经网络的区别是什么
- 深度学习方法(六):神经网络weight参数怎么初始化
- 神经网络与机器学习 第一讲(2)——什么是神经网络
- 超参数momentum与weight-decay的作用
- 如何简单形象又有趣地讲解神经网络是什么?
- 如何简单形象又有趣地讲解神经网络是什么?
- 神经网络weight参数怎么初始化
- 什么是神经网络或者微粒群算法所说的陷入 局部极小值?局部极小值是什么?
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
- 机器学习/CNN系列小问题(1):逻辑回归和神经网络之间有什么关系?
- 机器学习、统计分析、数据挖掘、神经网络、人工智能、模式识别之间的关系是什么?
- 深度学习方法(六):神经网络weight参数怎么初始化
- 优化方法,一些重要参数learning rate,weight decay,momentum,learing rate decay
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?