机器学习笔记--模型评估与选择
2017-05-14 20:46
351 查看
经验误差与过拟合
错误率:m个样本中有a个样本分类错误:a/m.精度:(1−a/m)∗100%
误差:实际预测输出与样本真实输出之间的差异
训练集上:训练误差(training error)
新样本上:泛化误差(generalization error)
过拟合:学习性能太好,把样本本身独有的特点学到,NPhard问题,难解决。
欠拟合:学习性能不好。
评估方法
留出法
把数据集D分为两个互补的集合S和T。S用来训练模型,T用来评估测试误差。注意:
训练/测试集划分尽量保持数据分布的一致性。
及时在给定训练/测试集的样本比例后,任存在许多划分方式
一般取若干次随机划分,重复进行实验评估后取平均值作为留出法结果。
交叉验证法
D划分为K个互不相交的集合Di,用k-1个子集作为训练集,这样就有K组训练/测试集,最后取k组结果平均值(k-fold cross validation)k一般取10,称为10折交叉验证.
重复做p次,则有p次k折交叉验证。
留一法:k=m.结果往往认为比较准确,但计算开销大(m个样本,则要训练m个模型)
自助法
D中采样,选取一个样本拷贝到D’中,然后再把这个样本放回D中。重复m次,得到D’.用D’作为训练集,用D/D’作为测试集。这里,由于D中一个样本始终不被采到的概率为:(1−1/m)m,趋近于1/e,约等于0.368.这就是说,D中大概有36.8%的样本不在D’中。
优点:
D较小时,难以划分S/T时很有用
能从D中产生多个不同的S对集成学习有很大好处
缺点:
改变了初始数据集的分布,引入了估计偏差
调参与最终模型
模型选择完成后重新训练整个D得到最终模型性能度量
学习期结果f(x)与真是标记对比均方误差:回归任务中,均方误差表示为
E(f;D)=1/m∑i=1m(f(xi)−yi)2
对于数据分布D和概率密度函数p(.):
待续
比较检验
偏差与方差
相关文章推荐
- 机器学习笔记2.模型评估于选择----教材周志华西瓜书
- 《机器学习》第二章 模型评估与选择 笔记2 泛化误差的评估方法
- 机器学习笔记(IV)模型评估与选择(III)
- 机器学习笔记3——模型评估与选择(二)
- 『机器学习——周志华』学习笔记——第二章:模型评估与选择
- 机器学习笔记之模型评估与选择
- 机器学习笔记(二)模型评估与选择
- 周志华《机器学习》笔记:2、模型评估与选择
- 机器学习之模型评估与模型选择(学习笔记)
- 机器学习笔记(PART II)模型的评估和选择(I)
- 机器学习笔记2——模型评估与选择(一)
- Stanford机器学习笔记-6. 学习模型的评估和选择
- 斯坦福大学机器学习笔记——当训练模型性能不好时的措施(假设评估、模型选择和交叉验证集、正则化、学习曲线)
- 《机器学习》第二章 模型评估与选择 笔记1
- 西瓜书《机器学习》笔记--模型评估与选择(一) 经验误差与过拟合
- 西瓜书《机器学习》学习笔记--模型评估及选择(二) 留出法
- 《机器学习》第二章 模型评估与选择 笔记3 查准率、查全率
- 机器学习笔记(III)模型评估与选择(II)
- 机器学习笔记-模型评估与选择, Training set、Validation set 和 Testing set的区别与作用
- 《机器学习》(周志华)学习笔记(二)模型评估与选择