运动跟踪之TLD（一）--TLD理论前瞻

跟踪-学习-检测（Tracking-Learning-Detection）

1.引言

TLD是英国萨里大学的博士Zdenek Kalal提出的一种较传统跟踪不同的基于单一目标的跟踪框架，可以实现对未知目标有效的长效跟踪（long-term tracking），并且将这种长效跟踪任务分解为三个子任务：跟踪（tracking）、学习（learning）和检测（detection），每个子任务通过单个模块完成，每个模块同时工作，并且彼此独立；跟踪器主要负责跟踪目标，检测器对当前发现以及过去发现的所有目标进行定位，并在必要时对跟踪器进行校正，而学习器则通过一种叫作P-N学习的在线学习方法（这是作者Zdenek
Kalal的另一成果，作者为TLD框架专门提出的）来估计检测器的误差，并对检测器进行实时更新，从而避免当前误差重现。

经实践，发现TLD框架效果真的很好，稳定性和鲁棒性都很棒棒哒，不仅可以成功的实现长时间跟踪，并且能够很好地解决目标部分遮挡、目标发生尺度和旋转变化、以及杂乱背景情况下的安全跟踪，另外对于跟丢了的物体也可以再次找回来，CMT辣么好的效果，跟它比起来还是略逊色了点，因为CMT在尺度估计上做的显然没有TLD好。

2.关于论文

Zdenek Kalal在英国萨里大学攻读博士学位期间，于10年在PAMI上发表了有关TLD的一篇TLD论文，这是一篇概括性质的TLD，他还发表了许多有关TLD的论文，包括P-N学习的都有，想要详细了解的可以去作者主页上看看。

Zdenek Kalal的TLD个人主页：
http://personal.ee.surrey.ac.uk/Personal/Z.Kalal/
上面有作者发布的许多跟踪视频，可以看看TLD的实际效果，另外还有关于OpenTLD的源码以及安装指导，有需要的可以下载。

3.关于长效跟踪（long-term tracking）

采集视频流时，摄像机的视场中可能会有多个不同物体目标在进进出出，这时如果我们给定感兴趣目标的bounding box，在之后的每一帧，我们的任务就是自动确定该目标的bounding box，或者当该目标消失时进行明确指示‘目标消失了’，如下图，对于这样一个将会无限长的处理过程，我们称之为长效跟踪。实现长效跟踪的关键问题是当目标在摄像机视场中重新出现时可以再次准确检测到该目标，同时需要处理尺度和旋转变化，背景杂乱，以及部分遮挡或短时遮挡等的突发状况。



其中左图是目标物体的bounding box的size和location；有图是TLD实时的跟踪目标，红点表示目标消失；

4.TLD的框架结构

结构如图：



概括解释就是：

跟踪器：假设帧与帧之间的运动有限且目标可见，跟踪器用来估计连续帧之间目标的运动，与传统跟踪器没差；

检测器：对帧图像进行全图遍历，对过去已经发现过的和过去学习过的所有目标进行定位，当然这一过程检测器可能会犯错，就是漏掉了真实前景目标和误判了某些背景目标为前景，与传统检测器没差；

学习器：估计检测器的错误，生成两种训练样本，更新检测器避免误差重现，即P-N学习过程，这是一种新的学习方法，专为TLD而生，因为别的学习方法无法满足TLD框架对跟踪失败后行为处理、保证检测器原始性能以及实时性的要求。