L2正则为什么能保证控制过拟合
2015-11-15 19:48
148 查看
著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:石国瑞
链接:http://www.zhihu.com/question/20178589/answer/55440780
来源:知乎
L2正则为什么能保证控制过拟合。这里面就有个哲学思想,叫做奥卡姆剃刀法则,简单来说这个想法就是“能简单说的话,不要复杂的说”。L2正则项就能代表模型的复杂度,根据奥卡姆,如果同样效果那么越简单的模型泛化效果越好。所以最优化过程中尽量追求小的L2的值就会提高泛化能力,也就抑制了过拟合的问题
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:石国瑞
链接:http://www.zhihu.com/question/20178589/answer/55440780
来源:知乎
L2正则为什么能保证控制过拟合。这里面就有个哲学思想,叫做奥卡姆剃刀法则,简单来说这个想法就是“能简单说的话,不要复杂的说”。L2正则项就能代表模型的复杂度,根据奥卡姆,如果同样效果那么越简单的模型泛化效果越好。所以最优化过程中尽量追求小的L2的值就会提高泛化能力,也就抑制了过拟合的问题
相关文章推荐
- Ruby on rails基本框架搭建
- STL学习系列一:STL(标准模板库)理论基础
- 17.4.3 使用MulticastSocket实现多点广播(3)
- UML图之类图和对象图
- 搭建zookeeper集群
- vim在每行行首或行尾添加/删除内容
- statistic learning
- 伪静态
- 第十章
- 一些有用的命令
- Cocos2dx中常用的C++11特性
- 114 linux ubuntu升级桌面图标消失
- python基础知识五
- 调用JSON可能出现异常需要的包
- javascript快速入门第三章jquery基础知识
- centos7安装mysql
- IOS UIActionSheet
- SpringMVC与struts2的区别比较
- Java作业07
- fbmem_init 浅析