机器学习:偏差、方差与欠拟合、过拟合
2017-08-07 20:32
274 查看
首先,我们先来理解一下偏差与方差的概念。举个高中数学里经常出现的例子,两个射击选手在射靶。甲射出的子弹很集中在某个区域,但是都偏离了靶心。我们说他的射击很稳定,但是不够准,准确性差。也就是说他的方差小(子弹很集中在某个区域),但是他的偏差大(子弹打中的地方距离靶心远)。相反,乙射出的子弹比较分散,但是有些很准,中了靶心。我们说他射击比较准,但是发挥不够稳定,稳定性差。
所以,偏差是描述了准确性。方差是描述稳定性。
那么,在机器学习中,偏差、方差与欠拟合、过拟合之间又有什么关系呢?
![](https://img-blog.csdn.net/20170807200653074?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGl3ZWliaW4xOTk0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
如上图中的第二个坐标,随着模型参数的增加,训练集的误差会慢慢减少。从第一个坐标和最后一个坐标可以直观感受到这种效果。因为模型参数少的时候,模型不能很好地拟合训练集的数据,所以偏差就比较大。当模型参数足够多时,模型拟合的效果就非常好了。
但是,当我们用验证集来验证时,却会有这样的情况:
![](https://img-blog.csdn.net/20170807201338257?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGl3ZWliaW4xOTk0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
对于欠拟合的情况,我们很容易理解,模型本来拟合的就不好,验证集的误差大也是自然。但是,对于过拟合来说,训练集的效果是非常好的,但是验证集上的效果却并不好,这是因为随着参数越多,模型就越不通用,而是针对了某一种特定的情况,比较有偏见,所以当用验证集验证时,误差会很大。因为验证集中的有些数据可能很符合过拟合的那条曲线,也有可能很不符合,所以数据方差就大了。也就是,方差大的时候我们可以认为是因为过拟合了。相反,模型参数少的时候,模型比较粗糙,偏离正确的拟合比较远,所以是偏差大。
所以,偏差是描述了准确性。方差是描述稳定性。
那么,在机器学习中,偏差、方差与欠拟合、过拟合之间又有什么关系呢?
如上图中的第二个坐标,随着模型参数的增加,训练集的误差会慢慢减少。从第一个坐标和最后一个坐标可以直观感受到这种效果。因为模型参数少的时候,模型不能很好地拟合训练集的数据,所以偏差就比较大。当模型参数足够多时,模型拟合的效果就非常好了。
但是,当我们用验证集来验证时,却会有这样的情况:
对于欠拟合的情况,我们很容易理解,模型本来拟合的就不好,验证集的误差大也是自然。但是,对于过拟合来说,训练集的效果是非常好的,但是验证集上的效果却并不好,这是因为随着参数越多,模型就越不通用,而是针对了某一种特定的情况,比较有偏见,所以当用验证集验证时,误差会很大。因为验证集中的有些数据可能很符合过拟合的那条曲线,也有可能很不符合,所以数据方差就大了。也就是,方差大的时候我们可以认为是因为过拟合了。相反,模型参数少的时候,模型比较粗糙,偏离正确的拟合比较远,所以是偏差大。
相关文章推荐
- 概率统计与机器学习:机器学习常见名词解释(过拟合,偏差方差)
- 机器学习之偏差和方差(欠拟合和过拟合)
- 【机器学习深度学习】教程——偏差方差,欠拟合过拟合
- 机器学习中的误差(Error)、偏差(Bias)与方差(Variance)
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?(转)
- 机器学习中的偏差(bias)和方差(variance)
- 对模型方差和偏差的解释之一:过拟合
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 偏差/方差与欠拟合/过拟合
- 理解机器学习中的偏差与方差
- 机器学习中的偏差和方差
- 机器学习中的偏差,方差,训练误差,测试误差相关
- 机器学习中的偏差(bias)和方差(variance)
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 机器学习:方差Variance与偏差Bias
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的偏差与方差
- 理解机器学习中的偏差与方差