AndrewNg神经网络和深度学习笔记-Week3-6激活函数
2017-11-21 22:06
741 查看
不同层可以由不同的激活函数。
隐藏层用tanh函数，而不用sigmoid函数，因为tanh的输出介于-1,1之间，激活函数输出的平均值更接近于0，而不是sigmoid的的0.5，让下一层的学习更方便一些。
只在输出层是二分类的时候用sigmoid函数，因为y输出0、1，正符合sigmoid函数的值域。
tanh和sigmoid的缺点都是，当z非常大或者非常小的时候，函数的斜率趋近于0，会拖慢梯度下降法的速度。所以用ReLU=>a = max(0, z)
隐藏层用tanh函数，而不用sigmoid函数，因为tanh的输出介于-1,1之间，激活函数输出的平均值更接近于0，而不是sigmoid的的0.5，让下一层的学习更方便一些。
只在输出层是二分类的时候用sigmoid函数，因为y输出0、1，正符合sigmoid函数的值域。
tanh和sigmoid的缺点都是，当z非常大或者非常小的时候，函数的斜率趋近于0，会拖慢梯度下降法的速度。所以用ReLU=>a = max(0, z)
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 深度学习笔记之神经网络、激活函数、目标函数和深度的初步认识
- [DeeplearningAI笔记]神经网络与深度学习3.2_3.11(激活函数)浅层神经网络
- 神经网络与深度学习笔记——第4章 神经网络可以计算任何函数的可视化证明
- AndrewNg神经网络和深度学习笔记-Week2-11向量化
- 深度学习/神经神经网络常用激活函数总结
- 深度学习神经网络激活函数的优点
- 神经网络与深度学习笔记（四）为什么用交叉熵代替二次代价函数
- 神经网络学习笔记 - 激活函数的作用、定义和微分证明
- 深度学习中的数学与技巧(13):神经网络之激活函数
- 神经网络与深度学习之激活函数
- 神经网络与深度学习 笔记4 交叉熵代价函数 softmax函数
- 机器学习笔记：形象的解释神经网络激活函数的作用是什么？
- 深度学习小白——神经网络1(激活函数)
- 深度学习与神经网络_吴恩达 学习笔记（二）
- 吴恩达神经网络和深度学习课程自学笔记（二）之神经网络基础
- 论文学习：二值神经网络BNN-用+1或-1限制的权值和激活函数来训练神经网络
- 王小草【深度学习】笔记第三弹--神经网络细节与训练注意点
- cs231n笔记（5）--传统神经网络，激活函数
- 深度学习笔记(二)：简单神经网络，后向传播算法及实现
- 深度神经网络及TensorFlow实现1-激活函数（Activation Function）2