机器学习-模型评估和选择
2015-05-18 09:07
489 查看
机器学习模型评估:灵敏度、特异性、F分数
[thead]
TP:被分类器正确分类的正元组;
TN:被分类器正确分类的负元组;
FP:被错误的标记为正元组的负元组;
FN:被错误标记为负元组的正元组。
特异性SP=TNNSP=\dfrac{TN}{N}
精度和召回率
precision=TPTP+FPprecision=\dfrac{TP}{TP+FP}
Recall=TPTP+FNRecall=\dfrac{TP}{TP+FN}
显著性检验和ROC曲线对于模型选择是有用的。显著性检验可以用来评估两个分类器准确率的差别是否处于偶然。ROC曲线绘制一个或多个分类器的真阳率(或灵敏性)与假阳率(或1-sp)。
组合方法可以通过学习和组合一系列个体基分类模型提高总体的准确率。装袋bagging、提升boosting和随机森林randomForest都是流行的组合方法。
评价分类器性能的度量
分类器评估度量包括准确率(又称“识别率”)、敏感度(或称为召回率recall)、特效性、精度(precision)F1和FΒ。度量 | 公式 |
---|---|
准确率、识别率 | TP+TNP+N\dfrac{TP+TN}{P+N} |
错误率、识分类率 | FP+FNP+N\dfrac{FP+FN}{P+N} |
敏感度 | TPP\dfrac{TP}{P} |
特效性、真负例率 | TNN\dfrac{TN}{N } |
精度 | TPTP+FP\dfrac{TP}{TP+FP} |
F分数 | 2∗precision∗recallprecision+recall\dfrac{2*precision*recall}{precision+recall} |
FβF_{\beta} | (1+β2)∗precision∗recallβ2∗precision+recall\dfrac{(1+{\beta}^2)*precision*recall}{{\beta}^2*precision+recall} |
TN:被分类器正确分类的负元组;
FP:被错误的标记为正元组的负元组;
FN:被错误标记为负元组的正元组。
混淆矩阵表示
灵敏性SN=TPPSN=\dfrac{TP}{P}特异性SP=TNNSP=\dfrac{TN}{N}
精度和召回率
precision=TPTP+FPprecision=\dfrac{TP}{TP+FP}
Recall=TPTP+FNRecall=\dfrac{TP}{TP+FN}
k倍交叉验证
初始数据随机划分为k个互不相交的自己,每个自己的大小大致相等。训练和检验进行k次。在第i次迭代,分区Di用做检验集,其余的分区一起用作训练模型,ROC曲线
小结
混淆矩阵可以用来评估分类器的质量。显著性检验和ROC曲线对于模型选择是有用的。显著性检验可以用来评估两个分类器准确率的差别是否处于偶然。ROC曲线绘制一个或多个分类器的真阳率(或灵敏性)与假阳率(或1-sp)。
组合方法可以通过学习和组合一系列个体基分类模型提高总体的准确率。装袋bagging、提升boosting和随机森林randomForest都是流行的组合方法。
相关文章推荐
- 机器学习(九) - - 模型评估和选择④比较检验
- 机器学习笔记之模型评估与选择
- 机器学习总结之第二章模型评估与选择
- 模型评估和选择——周志华的机器学习
- 机器学习 - 模型评估与选择
- 机器学习之模型评估与模型选择(学习笔记)
- 机器学习——模型评估与模型选择
- 机器学习中模型评估与选择中的几个小问题
- 机器学习(七) - - 模型评估和选择②评估方法
- 机器学习(周志华)读书笔记-(二)模型评估与选择
- R︱mlr包挑选最适机器学习模型+变量评估与选择(案例详解)
- 机器学习—模型评估与选择
- 《机器学习》(周志华)学习笔记(二)模型评估与选择
- 机器学习——模型评估和选择
- 『机器学习——周志华』学习笔记——第二章:模型评估与选择
- 《机器学习》阅读心得--二、模型评估与选择
- 西瓜书《机器学习》笔记--模型评估与选择(一) 经验误差与过拟合
- 机器学习(十) - - 模型评估和选择⑤偏差和方差
- 机器学习笔记2.模型评估于选择----教材周志华西瓜书
- 机器学习-模型评估与选择