Precision and Recall

Precision and Recall

2012
年 05 月 20 日

Precision
and Recall是評估測量
(Evaluation Measurement)的方法之一，特別是在資訊檢索和資料探勘這兩個領域，我們想知道下query後系統的效能如何，系統回傳的結果是不是使用者想要的。



Precision
and Recall的概念可以用圖來解釋，所以我直接取上多媒體系統設計課的投影片來琢磨。





直接舉影像檢索來當例子，使用者想要在所有的影像
(藍色框)中透過系統取得想要的影像
(紅色部份)，系統最後回傳的影像
(綠色部份)會讓使用者看到。

Recall的定義：想要且回傳的影像除以想要的影像

Precision的定義：想要且回傳的影像除以回傳的影像





這裡舉一個例子，想要的影像有10張，傳回的影像有15張。藍色霸表示當下Precision和Recall的百分比，常理來說Precision會逐漸遞減，而Recall會逐漸遞增。





此圖為上圖例子的圖表，完美的系統會讓紅線水平於Precision是1的狀態，表示所有傳回的影像都是想要的影像，但應用上不可能有這樣子的結果。





接下來我們會計算Average
Precision，來表示此單一Query的效果如何。很簡單地以Recall為標準將各階段的Precision（直到回傳的影像）做平均。

再來我們會引進mean
Average Precision，也就是將想要評估的所有Query所得到的AP做平均。