基础学习笔记——Recall, Precision, and Average Precision

以下内容绝大部分内容翻译自：

Mu Zhu , Recall, Precision, and Average Precision. Working Paper 2004-09 Department of Statistics & Actuarial Science University of Waterloo.

1. 先介绍一些基础内容和符号说明



C：一个很大item的集合。

π：集合中相关的item的集合（π<< 1）。

t：算法所识别出的item的集合。

h(t)：t中确实相关的item的集合，通常这部分称作命中（相反的是丢失）

下面看一些典型的“命中”曲线



假设其中相关item为5%。

hP(t)曲线是理想的曲线，几乎排在前面的所有的识别都命中了，直到5%，所有的相关item都耗尽了，曲线不再变化。

hR(t)曲线是随机选择的曲线

hA(t)和hB(t)是典型的识别曲线

（两条曲线相交是可能的）

“命中曲线”能够很清楚地告诉我们一个模型或者是算法的性能好坏。例如，如果在任何时候，有 hA(t)>hB(t)，则算法A毫无疑问比算法B出色；如果一般情况下，一条曲线总是随着t的增长而快速增长，则这个算法被认为是强壮的；特别的，一个最好的算法应该拥有最大地斜率，直到 t=π。

然而，我们需要的不仅是对算法好坏的评估和比较，而是要往好的方面来调整算法。经常，我们需要半人工地来产生一些算法的最优经验参数就像交叉验证。举例来说，对于

K - nearest-neighbor算法，我们必须选择最合适的K，然后通过交叉验证找出出色的值。因此，我们可以看到，我们更为需要的是一个评估值，而不是一条曲线。

两个数值化的评估方法通常是：recall和precision

2. 简单介绍 Recall 和 Precision

简单定义：

Recall：在所有item中识别出相关item的概率。

Precision：在算法所识别出的item中，真正相关的概率。

形式化定义：

设 ω 是集合 C 中随机取出的一个元素



则



或者可以表示成



3. Recall 和 Precision 之间的关系

引理1：



证明： 根据贝叶斯公式，可以得到：



注意：在这里，我们将Precision和Recall都看作是关于自变量 t 的函数，因为一般来说，随着 t 的变化，算法的一些表现也会跟着变化。

h(t) , r(t) , p(t) 都看作是连续光滑的曲线，因为集合C足够大。

引理2：

1. r(0) = 0 r(1) = 1

2. r'(t) >= 0 （t∈[0,1]）

证明：

1. 显然，当 t = 0 时，Recall必然为0，因为没有item被检测；

当 t = 1 时，Recall必然等于1，因为所有的item都被检测了，那么也必定包括所有相关的item；

2. 显然，r (t+△t) > r(t) 或者 r (t+△t) = r(t)

所以，r (t+△t) >= r(t)

假设 t 在几乎任何一点都可导，则有：


所以 r'(t)
>= 0 （ t∈[0,1] ）

引理2说明了 r(t) 是一个非递减函数，而且对于一个典型的识别算法来说，一般都有 r''(t) <= 0，即识别率是渐渐减缓的，直观上来说

随着 t 的上升，识别变得越来越困难。

假设1：假设 r(t) 是二次可微函数，则 r''(t) <= 0 , t∈[0,1].

引理3：假设 p(t) 可微，若假设1成立，则 p'(t)<= 0 , t∈[0,1].

证明：





根据中值定理，存在 S ∈[0,t].

使得 r(t) - r(0) = r'(s) (t - 0)

∵ r(0) = 0;

∴ r(t) = r'(s)t

又根据假设1， 有 r''(t) <= 0

所以 r'(s) >= r'(t) （s<=t）

所以 r'(s)t >= r'(t)t

即 r(t) >= r'(t)t

则 p'(t) <= 0

根据之前所证明的，r'(t) >= 0，可以看出，Recall和Precision的确存在某些相互影响的关系。

（此证明基于假设1，r(t)的二阶导数小于等于0，即r''(t)是凸函数）



所以说，单用这两个之中的某一个来评估和比较都不太合适，下面介绍的AP将会同时考虑Recall和Precision，因此常被用来作为衡量和评估的标准。

4. Average Precision（AP）

首先，Precision能被表示成Recall的函数，p(r), 因为 p(t) = π*r(t)/t ，具体见上所述。

AP的定义如下：



引理4：设r(t)可微函，则：





某些情况下，AP并不怎么直观，当 r'(t) = 0时，p(t)必然decreasing in t （无论在哪个区间内）

上面这句话不是特别理解。。。。

然而，因为dr为0，那么AP无论如何不会在此区间内发生变化。

下面举一些例子：

1. Random Selection：

假设 h(t) = π*t，即相关的比例在所有识别的比例中保持为 π

则 r(t) = h(t)/π = t

此时：AP = π

2. Perfect Detection:

h(t)= t [0,π]

h(t)=π (π,1]

这说明：前π个识别，全部命中，即h(t) = t，当π被耗尽时，h(t) = π,保持不变

这是最理想识别，也说明：

r(t) = t/π [0,π]

r(t) = 1 (π,1]

此时的AP = 1；

3. 实际应用中：

假设有n个测试item，将他们根据置信度又高到底排列后，计算：





其中，△r(i)表示后一次识别后，recall的变化量，

p(i)可表示为：R/i ，其中R前i个item中，相关的item个数。

因此AP也可表示为：



其中，R表示测试集所有的relavant的item个数；

n表示测试集中item的数量；

Ij = 1，如果第j个item相关，否则，Ij = 0；

Rj，前j个item中，相关的item个数；

下面看个例子：

假设这些item的置信度已经由高到底排列：







因此，算法A好于算法B。

由此也可以看出，AP这个衡量标准更偏爱识别得早的算法。

后略。

希望大家帮忙改正。