caffe学习笔记30-关于梯度消失与溢出
2017-03-05 16:27
507 查看
解决梯度消失问题的策略：
1.LSTM：通过选择记忆和遗忘机制克服RNN的梯度消失问题
2.用无监督数据做分层预训练，再用有监督数据fine-tune
3.ReLU：新的激活函数解析性质更好，克服可sigmoid函数和tanh函数的梯度消失问题
4.辅助损失函数：googlenet中的两个辅助损失函数，对浅层神经元直接传递梯度
5.Batch Normalization：逐层的尺度归一
梯度溢出问题：
1.尺度不平衡的初始化容易导致网络NAN
2.Xavier的方差不变准则保持网络节点尺度不变
1.LSTM：通过选择记忆和遗忘机制克服RNN的梯度消失问题
2.用无监督数据做分层预训练，再用有监督数据fine-tune
3.ReLU：新的激活函数解析性质更好，克服可sigmoid函数和tanh函数的梯度消失问题
4.辅助损失函数：googlenet中的两个辅助损失函数，对浅层神经元直接传递梯度
5.Batch Normalization：逐层的尺度归一
梯度溢出问题：
1.尺度不平衡的初始化容易导致网络NAN
2.Xavier的方差不变准则保持网络节点尺度不变
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- caffe学习笔记33-关于1*1卷积核理解
- Android开发学习笔记(五)：关于R.java消失或无法更新的问题
- vue饿了么学习笔记(1)关于dev-server.js消失的问题
- caffe学习笔记29-关于目标检测
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.10_1.12/梯度消失/梯度爆炸/权重初始化
- 深度学习笔记---ReL解决梯度消失
- 30. Python脚本学习笔记三十 更多关于SWIG
- 深度学习笔记---梯度消失、梯度激增
- caffe学习笔记32-关于修改源码
- Inside The C++ Object Model 学习笔记 -- 关于对象
- java学习笔记,关于java的一些基础知识,适用于初学者,第一节
- 关于朴素贝叶斯分类的学习笔记
- 关于LINQ(语言集成查询)的一些学习笔记(没实践过的)
- 学习笔记 06-12-30
- 关于LINQ(语言集成查询)的一些学习笔记
- 关于JDBC学习笔记（一）
- RTTI关于dynamic_cast的学习笔记（1）
- Spring学习笔记： 关于Advisor和PointcutAdvior
- 学习笔记：关于对下属的批评和赞扬
- Spring学习笔记:关于Interceptor