Deep Learning 学习系列004 —— 结构设计
2016-09-07 10:39
232 查看
神经网络的结构:神经网络有多少个神经单元和这些神经单元之间怎么连接。在链状结构中,上述问题变为选择神经网络的深度和每层的宽度。
统一逼近理论:具有一个线性输出单元,至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。
统一逼近理论表明,一个MLP(多层感知器)可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数,学习失败的原因有二:
1. 最优化算法不能得到理想函数对应的参数;
2. 由于过拟合,学习算法可能学到错误的函数。
总结:一层前向神经网络足够表示任意函数,但是这一层可能不切实际的大,并且不能学习和泛化。在许多情况下,使用更深的模型可以减少表示理想函数的神经单元数目,同时可以减少泛化误差。
统一逼近理论:具有一个线性输出单元,至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。
统一逼近理论表明,一个MLP(多层感知器)可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数,学习失败的原因有二:
1. 最优化算法不能得到理想函数对应的参数;
2. 由于过拟合,学习算法可能学到错误的函数。
总结:一层前向神经网络足够表示任意函数,但是这一层可能不切实际的大,并且不能学习和泛化。在许多情况下,使用更深的模型可以减少表示理想函数的神经单元数目,同时可以减少泛化误差。
相关文章推荐
- CUDA系列学习(三)GPU设计与结构QA & coding练习
- CUDA系列学习(三)GPU设计与结构QA & coding练习
- CUDA系列学习(三)GPU设计与结构QA & coding练习
- CUDA系列学习(三)GPU设计与结构QA & coding练习
- EXTJS学习系列提高篇:第二十九篇(转载)作者殷良胜,ext2.2打造Ext.form.ComboBox系列--树形结构
- 设计模式学习系列之UML图(行为型模式 上)
- [导入]关于整理出的设计模式系列各方面学习资料
- 重构之美-走在Web标准化设计的路上[深入结构:理解h系列的不合理。]
- 关于整理出的设计模式系列各方面学习资料
- 设计模式学习3-结构模式
- 设计模式学习系列之UML图(结构型模式)
- 设计模式之简单工厂模式(“从头开始学习设计模式”系列)
- 简单工厂模式(未完成)——小鸟学习设计模式笔记系列
- ASP MVC 学习系列——01 .net project结构(疑问未解决)
- [C++再学习系列] STL容器的存储结构
- 设计模式学习系列之UML图(行为型模式 上)
- 设计模式学习笔记——结构模式
- 学习设计模式 几个不错的系列
- 递归算法学习系列、Nhibernate学习系列、扩展GridView系列、设计模式系列、wse系列
- 病毒知识学习系列(1):初始病毒和PE结构