underfitting and overfitting
2016-03-12 20:12
405 查看
过拟合(或者叫做高方差:high variance):简单的理解就是参数太多,训练集太少,过拟合的结果是训练误差会非常小,因为我们的参数很多,可以很好的拟合几乎所有的训练数据,但是,过拟合情况下,模型的泛化能力就很差,会导致测试误差比较大。(即使看到的训练误差很小,但是测试使用的时候效果很差 ==当一个算法在训练集表现优秀,但在测试集表现不佳)
过拟合原因
1. 训练集和测试机特征分布不一致(e.g.,白天鹅黑天鹅)
2. 或者模型太过复杂(特征太多)而训练样本量不足
解决办法
1. 增加训练样本,使得训练样本尽量地丰富
2. 减少模型参数(特征数量)
3. 交叉验证(Cross validation)
例如:我们把trainingdatas切一小份(比如说10%)出来做validation,用剩下90%的data去train,然后用这10%检查一下train好的model,看看validation error如何然后判断是否收敛,而不是看训练误差,从而防止overtraining。
4. 正则化 (regularization)
正则化参数用于限制学习得到的参数,使参数不会太大,以此来防止过拟合。相当于是要求拟合的误差足够小的同时模型不要太复杂(参数的值也不至于很大,两者之间的一个tradeoff, 希望拟合误差和参数值都尽量小, 自然避免了过拟合啦),这样得到的模型具有较强的泛化能力。
正则化参数过小时,对参数值限制有限,参数值过大,容易发生过拟合
正则化参数过大时,对参数值限制过度,参数值太小,容易发生欠拟合
以上观点说白了就是利用正则化来控制参数值的大小
过拟合的时候,参数的值往往非常大,而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。
欠拟合(或者叫高偏差:high bias):简单来讲就是参数太少 (模型复杂度太低),相对来说,数据太多,不足以拟合训练数据,欠拟合情况下,训练误差会比较大,测试误差也会比较大。
解决办法:
1 引入更多的特征,对于神经网络,增加hidden layer相当于增加增加feature的个数。
过拟合原因
1. 训练集和测试机特征分布不一致(e.g.,白天鹅黑天鹅)
2. 或者模型太过复杂(特征太多)而训练样本量不足
解决办法
1. 增加训练样本,使得训练样本尽量地丰富
2. 减少模型参数(特征数量)
3. 交叉验证(Cross validation)
例如:我们把trainingdatas切一小份(比如说10%)出来做validation,用剩下90%的data去train,然后用这10%检查一下train好的model,看看validation error如何然后判断是否收敛,而不是看训练误差,从而防止overtraining。
4. 正则化 (regularization)
正则化参数用于限制学习得到的参数,使参数不会太大,以此来防止过拟合。相当于是要求拟合的误差足够小的同时模型不要太复杂(参数的值也不至于很大,两者之间的一个tradeoff, 希望拟合误差和参数值都尽量小, 自然避免了过拟合啦),这样得到的模型具有较强的泛化能力。
正则化参数过小时,对参数值限制有限,参数值过大,容易发生过拟合
正则化参数过大时,对参数值限制过度,参数值太小,容易发生欠拟合
以上观点说白了就是利用正则化来控制参数值的大小
过拟合的时候,参数的值往往非常大,而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。
欠拟合(或者叫高偏差:high bias):简单来讲就是参数太少 (模型复杂度太低),相对来说,数据太多,不足以拟合训练数据,欠拟合情况下,训练误差会比较大,测试误差也会比较大。
解决办法:
1 引入更多的特征,对于神经网络,增加hidden layer相当于增加增加feature的个数。
相关文章推荐
- OC- Method Swizzling
- 第二周学习进度条
- Interview(位运算)
- 重装电脑问题 记事1
- OC中的一些基础知识,不对的地方还请指正!
- hdu 5546 Ancient Go(★)
- C#中类中构造函数的执行序列
- Java集合源码学习笔记(二)ArrayList分析
- 第2周作业 2013551628 邱鹏
- 杭电oj 2032 杨辉三角
- HDU 1496 整数Hash
- adb failed to start daemon 彻底解决
- CoreData笔记
- Linux下is not in the sudoers file解决方法
- 单例模式的七种写法
- [国嵌攻略][139][输入子系统原理分析]
- ul和ol的一些知识
- Codeforces Round #307 (Div. 2) 551E - GukiZ and GukiZiana 分块
- 第二周项目3输出图形(d)
- ssh 传送下载文件