深度学习,机器学习面试问题
2017-07-24 16:31
337 查看
1.为什么使用Relu激活函数,作用是什么?
如不特别说明,激活函数一般是指非线性激活函数,使用激活函数的目的是为了提高网络的非线性建模能力,如果只是卷积和全连接操作,那么网络模型还只是在线性空间上的表达
1)sigmoid激活函数:处处可导,两侧接近于0.sigmoid函数的软饱和性限制了神经网络的发展,网络传导的时候,若节点调入饱和区,(sigmoid关于输入的导数)改点导数为0,也就表示为前一层向底层传递的梯度变得非常小(实际上我们可以认为前一层和后一层大致相同,梯度为0,我们称之为梯度消失),虽然sigmoid会导致梯度消失,但是他也有积极地一面。例如它在物理意义上最为接近生物神经元。 (0, 1) 的输出还可以被表示作概率,或用于输入的归一化,代表性的如Sigmoid交叉熵损失函数
2)ReLU:①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性。 在x<0 时硬饱和。由于 x>0时导数为 1,所以,ReLU 能够在x>0时保持梯度不衰减,从而缓解梯度消失问题。但随着训练的推进,部分输入会落入硬饱和区,导致对应权重无法更新。这种现象被称为“神经元死亡”。
针对这一题来说,可以认为Relu可以解决梯度消失问题,稀疏激活性,单侧抑制等
参考:
http://www.cnblogs.com/neopenx/p/4453161.html
深度学习大讲堂(权威):https://zhuanlan.zhihu.com/p/22142013
2)梯度弥散是什么?
随着网络深度的增加,整体的损失函数相对于最初几层的权值的导数变得很小,以至于对样本不能很好地学习。
解决方法:(DNN)隐层的激活函数使用了 ReLU,改善了“梯度弥散”,通过正则化+dropout 改善了过拟合的现象,在输出层 是softmax 作为激活函数。目标函数是交叉熵。CNN解决梯度弥散是使用的权值共享的策略。
参考:梯度弥散 - Losteng的博客 - CSDN博客 http://blog.csdn.net/losteng/article/details/51020552
3)dropout是怎么实现的
http://blog.csdn.net/hjimce/article/details/50413257
如不特别说明,激活函数一般是指非线性激活函数,使用激活函数的目的是为了提高网络的非线性建模能力,如果只是卷积和全连接操作,那么网络模型还只是在线性空间上的表达
1)sigmoid激活函数:处处可导,两侧接近于0.sigmoid函数的软饱和性限制了神经网络的发展,网络传导的时候,若节点调入饱和区,(sigmoid关于输入的导数)改点导数为0,也就表示为前一层向底层传递的梯度变得非常小(实际上我们可以认为前一层和后一层大致相同,梯度为0,我们称之为梯度消失),虽然sigmoid会导致梯度消失,但是他也有积极地一面。例如它在物理意义上最为接近生物神经元。 (0, 1) 的输出还可以被表示作概率,或用于输入的归一化,代表性的如Sigmoid交叉熵损失函数
2)ReLU:①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性。 在x<0 时硬饱和。由于 x>0时导数为 1,所以,ReLU 能够在x>0时保持梯度不衰减,从而缓解梯度消失问题。但随着训练的推进,部分输入会落入硬饱和区,导致对应权重无法更新。这种现象被称为“神经元死亡”。
针对这一题来说,可以认为Relu可以解决梯度消失问题,稀疏激活性,单侧抑制等
参考:
http://www.cnblogs.com/neopenx/p/4453161.html
深度学习大讲堂(权威):https://zhuanlan.zhihu.com/p/22142013
2)梯度弥散是什么?
随着网络深度的增加,整体的损失函数相对于最初几层的权值的导数变得很小,以至于对样本不能很好地学习。
解决方法:(DNN)隐层的激活函数使用了 ReLU,改善了“梯度弥散”,通过正则化+dropout 改善了过拟合的现象,在输出层 是softmax 作为激活函数。目标函数是交叉熵。CNN解决梯度弥散是使用的权值共享的策略。
参考:梯度弥散 - Losteng的博客 - CSDN博客 http://blog.csdn.net/losteng/article/details/51020552
3)dropout是怎么实现的
http://blog.csdn.net/hjimce/article/details/50413257
相关文章推荐
- 面试笔试整理3:深度学习机器学习面试问题准备(必会)
- 机器学习岗位面试问题汇总 之 深度学习
- 机器学习、大数据、深度学习、数据挖掘、统计、决策和风险分析、概率和模糊逻辑的常见问题解答
- 面试:机器学习--深度学习
- 机器学习和深度学习入门问题形象解答
- 【机器学习】Linux配置深度学习框架Theano的问题及解决办法
- 机器学习和深度学习提问题的好地方
- 机器学习、大数据、深度学习、数据挖掘、统计、决策和风险分析、概率和模糊逻辑的常见问题解答
- 机器学习/深度学习测试题(二)—— 单层线性神经网络求解异或问题
- 深度学习岗位面试问题整理笔记
- 机器学习、深度学习、数据挖掘——问题集锦
- 机器学习-最小最大模块化学习非线性问题
- 机器学习与深度学习_Paper&Code
- 机器学习中的优化问题学习资料
- 【机器学习-斯坦福】学习笔记7 - 最优间隔分类器问题
- Java HashMap深度解析-面试问题全面解读(1)
- [数据挖掘与机器学习] 十张图解释机器学习的基本概念(转自IT面试论坛)
- 面试必备之:MFC socket编程(浅出+深度:服务端和客户端端口问题)
- 斯坦福机器学习-week 3 学习笔记(2)——Matlab最优问题求解
- 深度学习是图像识别的新潮流,并行大样本训练自动找到问题特征