目标跟踪“Staple: Complementary Learners for Real-Time Tracking”

综合了局部特征HOG和全局特征颜色直方图用于目标跟踪，速度达到80fps。

相关工作

Correlation Filters作为衡量信号相似度的方法被用于跟踪，主要用于rigid模板，关于CF的介绍可见：

http://www.cnblogs.com/hanhuili/p/4266990.html

CF从圆形位移中学习，而颜色直方图对圆形位移不变，要解决变形问题，就要学习可变模板。

方法描述

使用tracking-by-detection流程，目标在t帧中的位置由图像xt中的具有最大得分的矩形框p：

pt=argmaxp∈Stf(T(xt,p);θt−1) (1)

模型参数θ通过最小化损失函数求得：

θt=argminθ∈Q{L(θ;Xt)+λR(θ)} (2)

给定第一帧中目标的位置，打分函数f和损失函数L的选取比较关键。作者给出了一个组合模板和直方图得分的打分函数，即：

f(x)=γtmplftmpl(x)+γhistfhist(x) (3)

模板得分K通道特征图像的线性函数，即：

ftmpl(x;h)=Σu∈Th[u]Tϕx[u] (4)

直方图得分由M通道的图像计算得到：

fhist(x;β)=g(ψx;β) (5)

为了加速计算，重叠窗口应该共享特征计算，直方图得分可以用积分图像计算，整个模型的参数为(h,β)，设训练损失为单个图像损失的加权线性组合，即：

L(θ,XT)=ΣTt=1wtl(xt,pt,θ) (8)

每个图像的损失为：

l(x,p,θ)=d(p,argmaxq∈Sf(T(x,q);θ)) (9)

通过解决两个独立的rigid回归问题学习模型：



下图为学习过程的可视化表示：



最小平方优化

若L(θ;X)是f(x;θ)的凸二次函数，且f(x;θ)对于θ是线性的，则存在矩阵At和向量bt使得：



学习模板得分

在最小平方Correlation Filter情况下，每个图像的损失为：

ltmpl(x,p,)=||ΣKk=1hk∗ϕk−y||2

h为输入图像，ϕ为滤波模板？y为理想响应（通常为高斯分布的函数）。使用x^表示离散傅里叶变换，归一化的目标函数为：

h^[u]=(s^[u]+λI)−1r^[u]

学习直方图得分

每个图像的损失为：

lhist(x,p,β)=Σ(q,y)∈W(βT[Σu∈HψT(x,q)[u]]−y)2

使用的特征RGB颜色，或者LBP，直方图得分可以使用平均投票，这里使用每个图像的目标函数对每个特征像素进行线性回归，即：

lhist(x,p,β)=1OΣu∈O(βTψ[u]−1)2+1BΣu∈B(βTψ[u])2

实验结果

在VOT14上的实验结果为：