Bias and Variance
2016-03-12 17:49
239 查看
一个模型的预测误差可以分别两个部分Bias和Variance:
Error=Bias^2+Variance
Bias刻画的是模型输出与目标输出的偏差。偏差越小,准确率越高
Variance刻画的是模型的稳定性,不同训练集训练得到的模型的差异。方差越小,模型越稳定。
Bias和Variance的图谱如下
红色圆心为目标输出,蓝色点为模型输出。
Bias和Variance对模型的预测误差和复杂度关系如下:
高bias偏差,说明模型错误率比较高,准确率低(可相应画出关于准确率的图)。
低Variance方差,说明两条错误曲线或准确率曲线比较接近。
模型越复杂,训练错误率低,但测试集的错误率往往会比较高(过拟合)。方差较大,偏差小。
模型较简单,则模型比较generation,方差比较小,但bias大(欠拟合)
参考文献2中指出最终的错误率由三个部分组成,第三项是由噪声引起的,任何模型无法消除,故不考虑。所以要降低模型的最终错误率不能单靠降低Bias或Variance。而是在取得折中(trade-off)
思考1:
在https://www.zhihu.com/question/27068705/answer/35151681中提出
在训练数据上进行交叉验证(Cross-Validation),一种方法叫做K-fold
Cross Validation (K折交叉验证)。
当K值大的时候, 我们会有更少的Bias,
更多的Variance。
当K值小的时候, 我们会有更多的Bias,
更少的Variance。
思考2:
参考文献2举的KNN的例子。
参考:
1. /article/8946651.html
2. http://scott.fortmann-roe.com/docs/BiasVariance.html
Error=Bias^2+Variance
Bias刻画的是模型输出与目标输出的偏差。偏差越小,准确率越高
Variance刻画的是模型的稳定性,不同训练集训练得到的模型的差异。方差越小,模型越稳定。
Bias和Variance的图谱如下
红色圆心为目标输出,蓝色点为模型输出。
Bias和Variance对模型的预测误差和复杂度关系如下:
高bias偏差,说明模型错误率比较高,准确率低(可相应画出关于准确率的图)。
低Variance方差,说明两条错误曲线或准确率曲线比较接近。
模型越复杂,训练错误率低,但测试集的错误率往往会比较高(过拟合)。方差较大,偏差小。
模型较简单,则模型比较generation,方差比较小,但bias大(欠拟合)
参考文献2中指出最终的错误率由三个部分组成,第三项是由噪声引起的,任何模型无法消除,故不考虑。所以要降低模型的最终错误率不能单靠降低Bias或Variance。而是在取得折中(trade-off)
思考1:
在https://www.zhihu.com/question/27068705/answer/35151681中提出
在训练数据上进行交叉验证(Cross-Validation),一种方法叫做K-fold
Cross Validation (K折交叉验证)。
当K值大的时候, 我们会有更少的Bias,
更多的Variance。
当K值小的时候, 我们会有更多的Bias,
更少的Variance。
思考2:
参考文献2举的KNN的例子。
参考:
1. /article/8946651.html
2. http://scott.fortmann-roe.com/docs/BiasVariance.html
相关文章推荐
- Linux基础指令
- C++ string 类型提取字符串
- Ladder network 优势与实现步骤
- Firemonkey访问iOS的钥匙串Keychain
- jdk1.8新特性详解
- MySQL常用基本操作
- Tyvj P1463 智商问题 分块
- 四则运算二
- C++ string 类型提取字符串
- mvchelper
- CF 593 A 2Char(选择合适的枚举方式)
- CF #622C. Not Equal on a Segment
- Java设计模式透析之 —— 适配器(Adapter)
- Bzoj 3343: 教主的魔法 分块,二分
- 修改WebView
- 第二次作业
- 《你必须知道的495个C语言问题》读书笔记之第11-14章:ANSI C标准、库函数、浮点数
- 四则运算2
- 只因“一个小的梦想”捧红了网络视频直播
- 模板库