accuracy、precision、recall、true positives, true negatives, false positives 和 false negatives

accuracy、precision、recall、true positives, true negatives, false positives 和 false negatives

(2012-06-04 15:31:22)


转载▼

标签： 杂谈

True Positive （真正, TP）被模型预测为正的正样本；可以称作判断为真的正确率

True Negative（真负 , TN）被模型预测为负的负样本 ；可以称作判断为假的正确率

False Positive （假正, FP）被模型预测为正的负样本；可以称作误报率

False Negative（假负 , FN）被模型预测为负的正样本；可以称作漏报率

True Positive Rate（真正率 , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN）
正样本预测结果数 / 正样本实际数

True Negative Rate（真负率 , TNR）或特指度（specificity）
TNR = TN /（TN + FP）
负样本预测结果数 / 负样本实际数

False Positive Rate （假正率, FPR）
FPR = FP /（FP + TN）
被预测为正的负样本结果数 /负样本实际数

False Negative Rate（假负率 , FNR）
FNR = FN /（TP + FN）
被预测为负的正样本结果数 / 正样本实际数

---------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------

正确率(accuracy)、 查准率(precision)、 查全率(recall)

一、查全率和查准率是目前衡量检索效果的相对合理的指标
　　查全率＝（检索出的相关信息量/系统中的相关信息总量）*100%
　　查准率＝（检索出的相关信息量/检索出的信息总量）*100%
　　前者是衡量检索系统和检索者检出相关信息的能力，后者是衡量检索系统和检索者拒绝非相关信息的能力。两者合起来，即表示检索效率。

二、查全率和查准率都有局限性
　　查全率的局限性主要表现在：它是检索出的相关信息量与存储在检索系统中的全部相关信息量之比，但系统中相关信息量究竟有多少一般是不确知的，只能估计；另外，查全率或多或少具有“假设”的局限性，这种“假设”是指检索出的相关信息对用户具有同等价值，但实际并非如此，对于用户来说，信息的相关程度在某种意义上比它的数量重要得多。
　　查准率的局限性主要表现在：如果检索结果是题录式而非全文式，由于题录的内容简单，用户很难判断检索到的信息是否与课题密切相关，必须找到该题录的全文，才能正确判断出该信息是否符合检索课题的需要；同时，查准率中所讲的相关信息也具有“假设”的局限性。
实验证明，在查全率和查准率之间存在着相反的相互依赖关系--如果提高输出的查全率，就会降低其查准率，反之亦然。
对用户来说，影响检索效果的主要因素有文献标引的广泛性和用户检索标识的专指性。