CNN:weight decay,momentum,batch normalization
2017-06-29 14:40
330 查看
一、weight decay(权值衰减)的使用既不是为了提高收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为x \leftarrow x-\alpha \ast dx,x沿负梯度方向下降。而带momentum项的SGD则写生如下形式:v=\beta \ast v -a\ast dx\\x \leftarrow x+v其中\beta 即momentum系数,通俗的理解就是,如果上一次的momentum(即v)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、batch normalization的是指在神经网络中激活函数的前面,将wx+b按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动,Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为x \leftarrow x-\alpha \ast dx,x沿负梯度方向下降。而带momentum项的SGD则写生如下形式:v=\beta \ast v -a\ast dx\\x \leftarrow x+v其中\beta 即momentum系数,通俗的理解就是,如果上一次的momentum(即v)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、batch normalization的是指在神经网络中激活函数的前面,将wx+b按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动,Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
相关文章推荐
- 神经网络中weight decay起到的做用是什么?momentum呢?normalization呢?
- 超参数简单理解-->learning rate,weight decay和momentum
- 优化方法,一些重要参数learning rate,weight decay,momentum,learing rate decay
- 学习笔记一:learning rate,weight decay和momentum的理解
- 深度学习超参数简单理解 learning rate,weight decay和momentum
- learning_rate&weight_decay&momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 深度学习超参数简单理解------>learning rate,weight decay和momentum
- 在神经网络中weight decay起到的做用是什么?momentum呢?normalization呢?
- 超参数momentum与weight-decay的作用
- 在神经网络中weight decay、momentum、batch normalization各自意义
- weight decay (权值衰减)
- Caffe中learning rate 和 weight decay 的理解
- weight decay 和正则化caffe
- 【Momentum,Decay】关于动量和权衰减率
- weight decay
- Weight Decay & Batch Normalization
- MSE,ks,mAP,weight decay等名词解释
- weight decay 权值衰减