周志华机器学习第二章读书笔记(二)
2017-10-13 13:29
176 查看
(1)ROC(Receiver Operating Characteristic)受试者工作特征:研究学习器泛化能力
根据学习器的预测结果对样例进行排序,按此顺序逐个把样本作为正例进行预测,每次计算出两个重要量的值,得到ROC曲线。
ROC的横轴是假正例率,纵轴是真正例率。
如果一个学习器的ROC曲线被另一个的完全包围,则可断言后者的性能优于前者;若两个曲线发生交叉则较为合理的是比较ROC曲线下的面积,即AUC。
(2)代价敏感错误率与代价曲线
依据:不同类型的错误造成的后果不同
因此建立一个代价矩阵,区分各个类别错误的损失程度。
ROC曲线不能直接反映出学习器的期望总体代价,代价曲线可以。
(3)比较检验
统计假设检验为我们进行学习器性能比较提供了重要依据,基于假设检验的结果,我们可以推断出,若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于B
(1)假设检验:根据测试错误率推出泛化错误率的分布
(2)交叉检验t检验:根据差值来对学习器B与学习器A性能相同这个假设做t检验
(3)McNemar检验:假设两学习器性能相同,则两者在对应测试集上的性能相同
根据学习器的预测结果对样例进行排序,按此顺序逐个把样本作为正例进行预测,每次计算出两个重要量的值,得到ROC曲线。
ROC的横轴是假正例率,纵轴是真正例率。
如果一个学习器的ROC曲线被另一个的完全包围,则可断言后者的性能优于前者;若两个曲线发生交叉则较为合理的是比较ROC曲线下的面积,即AUC。
(2)代价敏感错误率与代价曲线
依据:不同类型的错误造成的后果不同
因此建立一个代价矩阵,区分各个类别错误的损失程度。
ROC曲线不能直接反映出学习器的期望总体代价,代价曲线可以。
(3)比较检验
统计假设检验为我们进行学习器性能比较提供了重要依据,基于假设检验的结果,我们可以推断出,若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于B
(1)假设检验:根据测试错误率推出泛化错误率的分布
(2)交叉检验t检验:根据差值来对学习器B与学习器A性能相同这个假设做t检验
(3)McNemar检验:假设两学习器性能相同,则两者在对应测试集上的性能相同
相关文章推荐
- <机器学习>(周志华)读书笔记 -- 第二章 模型评估与选择
- 『机器学习——周志华』学习笔记——第二章:模型评估与选择
- 《机器学习》周志华 读书笔记二补充(原创)
- 机器学习(周志华)读书笔记-(二)模型评估与选择
- <机器学习>(周志华)读书笔记 -- 第六章 支持向量机
- 机器学习(周志华)读书笔记-(五)神经网络(2)卷积神经网络
- 机器学习(周志华)读书笔记-(三)线性模型
- 《机器学习》周志华 读书笔记
- 机器学习(周志华)读书笔记-(五)神经网络(1)
- 西瓜书《机器学习》周志华读书笔记和课后习题目录
- 第二章 模型评估与选择--机器学习(周志华) 参考答案
- 《机器学习》周志华 读书笔记二(原创)
- <机器学习>(周志华)读书笔记 -- 第一章 绪论
- 周志华《机器学习》读书笔记(一)
- 机器学习 周志华 读书笔记 习题1.2
- 周志华《机器学习》读书笔记(1)
- 周志华机器学习第二章总结及课后答案
- 机器学习(周志华)读书笔记-(四)决策树
- 机器学习_周志华版_读书笔记_02 模型评估与选择
- 周志华《机器学习》读书笔记第一章