信息检索、识别、分类领域的一些结果评判标准解释
2016-11-29 19:37
429 查看
初入科研坑,基本概念都不懂,为了对一些必要的简单知识增加一下记忆,就整理这篇文章,就当是本字典,以备之后忘记了随时查阅。
参考一些大神们的解释,今天要总结的知识点是对检索结果评判的一些标准,主要包括:准确率(Precision rate)、召回率(Recall rate)、F值、平均精度(mAP)、最近邻(NN)
准确率(Precision rate)、召回率(Recall rate)、F值
召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件总数
准确率(Precision) = 系统检索到的相关文件 / 系统所有检索到的文件总数
F值 = 准确率 * 召回率 * 2 / (准确率 + 召回率) (F 值即为准确率和召回率的调和平均值)
图表表示为:
准确率是评估检索结果中相关量所占得比例;召回率,顾名思义,就是从关注领域中,召回相关类别的比例;而F值,则是综合这二者指标的评估指标,用于综合反映整体的指标。
当然希望检索结果Precision越高越好,同时Recall也越高越好,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,且是准确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究,可以绘制Precision-Recall曲线来帮助分析。
如果是做搜索,那就是保证召回的情况下提升准确率;如果做疾病监测、反垃圾,则是保准确率的条件下,提升召回。
平均精度(mAP)
mAP是为解决P,R,F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标,可以看考察下图,其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线
可以看出,虽然两个系统的性能曲线有所交叠,但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。
从中我们可以发现一点,如果一个系统的性能较好,其曲线应当尽可能的向上突出。
更加具体的,曲线与坐标轴之间的面积应当越大。
最理想的系统,其包含的面积应当是1,而所有系统的包含的面积都应当大于0。
这就是用以评价信息检索系统的最常用性能指标,平均准确率mAP,它是指P-R曲线与坐标轴构成的面积。
最近邻(NN)
用于测量前一个检索的精度
参考一些大神们的解释,今天要总结的知识点是对检索结果评判的一些标准,主要包括:准确率(Precision rate)、召回率(Recall rate)、F值、平均精度(mAP)、最近邻(NN)
准确率(Precision rate)、召回率(Recall rate)、F值
召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件总数
准确率(Precision) = 系统检索到的相关文件 / 系统所有检索到的文件总数
F值 = 准确率 * 召回率 * 2 / (准确率 + 召回率) (F 值即为准确率和召回率的调和平均值)
图表表示为:
准确率是评估检索结果中相关量所占得比例;召回率,顾名思义,就是从关注领域中,召回相关类别的比例;而F值,则是综合这二者指标的评估指标,用于综合反映整体的指标。
当然希望检索结果Precision越高越好,同时Recall也越高越好,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,且是准确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究,可以绘制Precision-Recall曲线来帮助分析。
如果是做搜索,那就是保证召回的情况下提升准确率;如果做疾病监测、反垃圾,则是保准确率的条件下,提升召回。
平均精度(mAP)
mAP是为解决P,R,F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标,可以看考察下图,其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线
可以看出,虽然两个系统的性能曲线有所交叠,但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。
从中我们可以发现一点,如果一个系统的性能较好,其曲线应当尽可能的向上突出。
更加具体的,曲线与坐标轴之间的面积应当越大。
最理想的系统,其包含的面积应当是1,而所有系统的包含的面积都应当大于0。
这就是用以评价信息检索系统的最常用性能指标,平均准确率mAP,它是指P-R曲线与坐标轴构成的面积。
最近邻(NN)
用于测量前一个检索的精度
相关文章推荐
- 机器学习分类结果评判标准-混淆矩阵&ROC曲线
- 科目三考试项目分类评判标准
- 我收集的一些目标检测、跟踪、识别标准测试视频集和图像数据库
- 我收集的一些目标检测、跟踪、识别标准测试视频集和图像数据库
- 评判一篇技术博客价值的标准一些个人见解
- C++机试评判结果分类分析
- 【人脸识别】关于识别识别的一些名词解释以及函数说明
- 分类的评判标准:TP、TN、FP、FN
- 我收集的一些目标检测、跟踪、识别标准测试视频集和图像数据库
- 第二篇 根据识别的结果 我们可以访问一些网络 先写一个水波纹UI
- 数据分析,信息检索,分类体系中常用指标简明解释——关于准确率、召回率、F1、AP、mAP、ROC和AUC
- 图像识别领域的一些code
- 收集的一些目标检测、跟踪、识别标准测试视频集和图像数据库
- 准确率、召回率、F-score——信息检索、分类、推荐系统评估标准
- 准确率、召回率、F-score——信息检索、分类、推荐系统评估标准
- 计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接 分类: 图像处理 2015-04-11 13:49 187人阅读 评论(0) 收藏
- 有悟性不一定有灵性!也就是你能悟到一些东西的时候未必就能很好地表达出来,灵性是透在骨子里的一种感觉!灵性之美是由心而发的,它不需要任何解释,在视觉传达领域尤其这样。
- 一些目标检测、跟踪、识别标准测试视频集和图像数据库
- HTK语音识别HResults的结果解释
- 分类的评判标准:TP、TN、FP、FN