目标检测一些常用的评价指标
2018-03-21 19:54
981 查看
最近在赶一篇关于路面标线检测的论文,博文的更新暂停了一段时间。在论文中需要定量地分析目标检测算法的优劣,特在此总结一些常用的评价指标。
1. PR曲线(Precision&Recall)
首先需要了解几个概念。
True positive(TP): 预测为positive ground truth为True
True negative(TN): 预测为positive 但ground truth 为negative
False positive(FP): 预测为positive 但ground truth 为negativeFalse negative(FN): 预测为negative ground truth也为Falseprecision: 查准率,指预测为positive中,ground truth是positive所占的比例 (TP/(TP+FP)),该值越大越好,1为理想状态recall: 查全率,指所有的True样本中,预测为positive所占的比例(TP/(TP+FN)),该值越大越好,1为理想状态F1-score: 将precision 和recall合成一个指标,越大越好accuracy: 所有预测结果与实际结果一样的样本/所有样本FP Rate(FPR): false positive占整个negative的比例,就是说原本是negative 预测为positive的比例,越小越好TP Rate(TPR): true positive 占整个positive 的比例PR曲线:(precision,recall)曲线,越凸向右上方效果越好AP:PR曲线下的面积AUC: Area Under the Curve 是一个抽象的概念,并不单指ROC曲线下的面积
通过计算每个样本的TP, FP, TN, FN的值,得到每个样本对应的(P, R)值对,从而可以绘制PR曲线图。PR曲线的一般趋势是向右上方凸起的一条曲线,最右上方凸起点成为平衡点,该点的p、r坐标值越大越好,表示检测器性能在该点达到平衡状态,既保证高精确度又保证高召回率。此外,F1-score的计算公式为F1 = 2 * p * r* (p+r) 2. ROC曲线(receiver operating characteristic)ROC曲线是一种描述灵敏度的评价指标。ROC曲线可以通过计算样本的真阳性率TPR和假阳性率FPR得到,因此ROC曲线也叫做相关操作特征曲线。与PR曲线相反,ROC 曲线的趋势是向左上角凸起的一条曲线,如下图。评价两条ROC曲线的性能优劣,通常计算曲线下方包含的面积AUC,面积越大则代表检测器性能越好。
3. MAP(Mean Average Precision), AP(Average Precision)AP通常用于计算平均的检测精度,用于衡量检测器在每个类别上的性能好坏;而MAP则更多用于评价多目标的检测器性能,衡量检测器在所有类别上的性能好坏,即得到每个类别的AP值后再取所有类别的平均值。假设N个样本中有M个positive的正例,那么我们就会得到M个recall值(1/M,2/M,3/M......M/M),对于每个recall值r,我们可以计算出对应r'>r的最大的precision值,然后对这M个precision 值取平均即得到最后的AP值。计算过程如下表所示:
此时的PR曲线为:
关于目标检测相关的评价指标就总结到这里,后续有需要会继续补充。
1. PR曲线(Precision&Recall)
首先需要了解几个概念。
True positive(TP): 预测为positive ground truth为True
True negative(TN): 预测为positive 但ground truth 为negative
False positive(FP): 预测为positive 但ground truth 为negativeFalse negative(FN): 预测为negative ground truth也为Falseprecision: 查准率,指预测为positive中,ground truth是positive所占的比例 (TP/(TP+FP)),该值越大越好,1为理想状态recall: 查全率,指所有的True样本中,预测为positive所占的比例(TP/(TP+FN)),该值越大越好,1为理想状态F1-score: 将precision 和recall合成一个指标,越大越好accuracy: 所有预测结果与实际结果一样的样本/所有样本FP Rate(FPR): false positive占整个negative的比例,就是说原本是negative 预测为positive的比例,越小越好TP Rate(TPR): true positive 占整个positive 的比例PR曲线:(precision,recall)曲线,越凸向右上方效果越好AP:PR曲线下的面积AUC: Area Under the Curve 是一个抽象的概念,并不单指ROC曲线下的面积
通过计算每个样本的TP, FP, TN, FN的值,得到每个样本对应的(P, R)值对,从而可以绘制PR曲线图。PR曲线的一般趋势是向右上方凸起的一条曲线,最右上方凸起点成为平衡点,该点的p、r坐标值越大越好,表示检测器性能在该点达到平衡状态,既保证高精确度又保证高召回率。此外,F1-score的计算公式为F1 = 2 * p * r* (p+r) 2. ROC曲线(receiver operating characteristic)ROC曲线是一种描述灵敏度的评价指标。ROC曲线可以通过计算样本的真阳性率TPR和假阳性率FPR得到,因此ROC曲线也叫做相关操作特征曲线。与PR曲线相反,ROC 曲线的趋势是向左上角凸起的一条曲线,如下图。评价两条ROC曲线的性能优劣,通常计算曲线下方包含的面积AUC,面积越大则代表检测器性能越好。
3. MAP(Mean Average Precision), AP(Average Precision)AP通常用于计算平均的检测精度,用于衡量检测器在每个类别上的性能好坏;而MAP则更多用于评价多目标的检测器性能,衡量检测器在所有类别上的性能好坏,即得到每个类别的AP值后再取所有类别的平均值。假设N个样本中有M个positive的正例,那么我们就会得到M个recall值(1/M,2/M,3/M......M/M),对于每个recall值r,我们可以计算出对应r'>r的最大的precision值,然后对这M个precision 值取平均即得到最后的AP值。计算过程如下表所示:
此时的PR曲线为:
关于目标检测相关的评价指标就总结到这里,后续有需要会继续补充。
相关文章推荐
- 显著性目标检测模型评价指标(一)——平均绝对误差:Mean Absolute Error(MAE)
- 目标检测评价指标
- 目标检测评价指标解释(precision, recall, mAP)
- 目标检测(一)目标检测评价指标
- 常用的一些算法模型评价指标
- 在目标检测任务中如何计算评价指标-Recall,Precision以及画出PR曲线
- 目标检测(一)目标检测评价指标
- 目标检测常用衡量指标
- 显著性目标检测模型评价指标(三)——F-measure
- 我收集的一些目标检测、跟踪、识别标准测试视频集和图像数据库
- 分类算法中常用的评价指标
- 机器人系统常用仿真软件介绍效果与评价指标
- 评价入侵检测系统漏洞攻击检测覆盖面的指标
- 回归之一多目标跟踪算法评价指标
- 数据分析里面的一些常用指标的特点(最大、最小、平均、中位数、....)
- 机器人系统常用仿真软件工具介绍、效果与评价指标
- 应用开发中常用的一些手机设置的检测和调用
- computer vision一些术语-目标识别、目标检测、目标分割、语义分割等
- 分类算法中常用的评价指标
- (转)深度学习目标检测指标mAP