NLP任务中的基本指标(precision and recall )

》》以下内容参考wikipedia。

precision 精确度

recall 召回率

样本数据可看成如下两组：

false negative 伪负例 (FN)

true negative 真负例 (TN)

被算法挑选出的数据可看成如下两组：

true positive 真正例 (TP)

false positive 伪正例 (FP)

计算：

precision = TP/(TP+FP)

recall = TP/FN

即：



注：实际任务中经常使用这两个基本指标的加权组合（即，F-measure，也称F-score），至于权值根据不同任务酌情使用。经常使用的而是两者的调和平均数，即：



补充机器学习分类任务中其他指标：

准确率(accuracy)

　　　其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。

　　　　accuracy=TP/(FN+TN)

混淆矩阵（Confusion Matrix）

　　在机器学习领域，混淆矩阵（confusion matrix），又称为可能性表格或是错误矩阵。

　　例如：　　

　　　　实际值：8只cat， 6条dog， 13只rabbit
　　　　预测值：7只cat， 8条dog， 12只rabbit
　　　　则混淆矩阵为：



从上表中能看出：
Cat的召回率(recall)： 5/8
Dog的召回率(recall)： 3/6
Rabbit 的召回率(recall)：11/13

Cat的精确率(precision)： 5/7
Dog的精确率(precision)： 3/8

Rabbit 的精确率(precision)：11/12
上例参考自：http://blog.csdn.net/vesper305/article/details/44927047

对数损失（Log-Loss）

　

曲线下面积（AUC）