机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
2016-09-13 21:00
447 查看
前几天搜狗的一道笔试题,大意是在随机森林上增加一棵树,variance和bias如何变化呢?
参考知乎上的讨论:https://www.zhihu.com/question/27068705
另外可参考林轩田老师在机器学习技法的《Blending and Bagging》中的讲解:
综上,bias反应的是模型在样本上的值与真实值之间的误差,反应的是模型的准确度。对于blending,它反应的是模型越复杂,它的bias就越小;
对于cross-validation,当训练越充分,bias就越小。按上面的理解,bias应是Ein,但林老师给出的是Eout,不知道该如何理解呢?
variance反应的是模型的稳定性。对于blending,从上图来看,它反应的是每个g与最后模型的差异性,可以想像,当g较少时,variance也
会越小;从cross-validation来说,variance在不同训练集上的训练结果,训练集越少,差异也越少。
回到最开始的问题,增加一棵树,相当于增加了模型的复杂度,bias会减小,同时增加了相互之间的差异,variance增加。
参考知乎上的讨论:https://www.zhihu.com/question/27068705
另外可参考林轩田老师在机器学习技法的《Blending and Bagging》中的讲解:
综上,bias反应的是模型在样本上的值与真实值之间的误差,反应的是模型的准确度。对于blending,它反应的是模型越复杂,它的bias就越小;
对于cross-validation,当训练越充分,bias就越小。按上面的理解,bias应是Ein,但林老师给出的是Eout,不知道该如何理解呢?
variance反应的是模型的稳定性。对于blending,从上图来看,它反应的是每个g与最后模型的差异性,可以想像,当g较少时,variance也
会越小;从cross-validation来说,variance在不同训练集上的训练结果,训练集越少,差异也越少。
回到最开始的问题,增加一棵树,相当于增加了模型的复杂度,bias会减小,同时增加了相互之间的差异,variance增加。
相关文章推荐
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?(转)
- 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?
- Bias(偏差),Error(误差),Variance(方差),和K-fold Cross Validation的关系(机器学习核心)
- 统计学总结之Bias(偏差),Error(误差),和Variance(方差)的区别
- 统计学总结之Bias(偏差),Error(误差),和Variance(方差)的区别
- 机器学习基础(一)机器学习中的Bias(偏差),Error(误差),和Variance(方差)
- 机器学习中的误差(Error)、偏差(Bias)与方差(Variance)
- 统计学总结之Bias(偏差),Error(误差),和Variance(方差)的区别
- 机器学习:Bias(偏差),Error(误差),和Variance(方差)
- 总结:Bias(偏差),Error(误差),Variance(方差)及CV(交叉验证)
- 总结:Bias(偏差),Error(误差),Variance(方差)及CV(交叉验证)
- 总结:Bias(偏差),Error(误差),Variance(方差)及CV(交叉验证)
- 模型评估与选择 ( Bias(偏差),Error(误差),和Variance(方差) )
- 机器学习——偏差(bias),方差(variance),噪声(noise)
- 机器学习中偏差和方差有什么区别?
- 机器学习中的偏差(Bias)与方差(Variance)
- 机器学习中的偏差(bias)和方差(variance)