论文笔记之---Person Re-identification in the Wild

Abstract
本文提出的方法主要解决了三个问题：不同detectors和recognizers的组合的表现，行人检测对于提升再识别过程中准确率有所帮助这一现象背后的机理，以及评估了不同detectors对re-id的效果。
本文所作出的三个很明显的贡献：
1）提出了一个新的数据集：PRW，其实就是给检测到的行人加上了序号为1~932的annotation
2）行人检测通过以下两种方式对re-id有帮助：IDE和CWS。
3）在特定场合下的accurate re-id过程中，对于评价detector的表现有了更深刻的洞见

Introduction
1.开头阐明行人识别和重识别通常被分为两个不同的问题来考虑。
2.文中提出了与以往不同的新的dataset（PRW）和baselines（which moves beyond sequential application of detection and recognition），因为目前的许多数据集缺少annotations，从而无法将识别与再识别进行结合来评估。
3.强调了本文的joint setup方法的优点：在进行CNN特征分类时利用ID-discriminative embedding获得更好的re-id精确度，以及提出了一个叫做CWS metric（Confidence Weighted Similarity）的评估标准。
4.detectors的定位能力对于re-id非常重要。
整个pipeline如下图：



Related Work
1.前人的研究工作无法体现不同质量的detector对re-id精确度的影响。本文的pipline则是考虑了从detection到re-id的整个过程。
2.Pedestrian detection的发展过程，例如从DPM到如RCNN这一类的CNN-based框架。
3.Person re-identification的发展过程。（里面提到的许多论文倒是蛮经典的）。
4.关于detection和re-id的结合，作者提到了两篇论文，其中一篇中的detection利用的是poselets，re-id利用人脸和 global signatures，但是这种方法对于行人并不适用；另一篇的数据集太少了，作者需要在大量数据集上进行试验，故被嫌弃。

The PRW Dataset
1,使用了6台相机。如果video中的行人同样出现在Market-1501中，那么就打上标记，如果对box中的行人类别不确定则用-2这个数来代表该名行人。如图：



2.所有frame中，总共有43110个pedestrian bounding boxes，有34304个行人被标注为1到932其中的一个数字所代表的ID，其余的都被标注为-2。与其他数据集的对比如下图：



3.Evaluation Protocols：对不同数据集进行了比较。文中主要使用precision-recall curve以及average precision来评估检测表现，同时也使用了MR（log-average miss rate）。关于annotated pedestrians的更多信息如下图：



4.Person Re-identification：re-id问题其实就是一个1：N的搜索过程。在测试阶段，文中总共使用了2057张query images，包含了450个ID号，评价一个ID对应4.57张queries。文中使用了mAP和rank-1, 10, 20 accuracy。

Base Components and Proposed Improvements
1.在Pedestrian detection阶段使用RCNN，将特征分为行人或者背景。文中使用了AlexNet、VGGNet和ResidualNet来进行测试。
2.Person re-identification阶段分为两个模型，第一个是image descriptor，第二个是distance metric。文中对应分别测试了6种image descripto以及4种。distance metric算法。
3.ID-discriminative Embedding和使用Confidence Weighted Similarity对模型带来的提升。前者主要利用每个ID的training boxes对CNN进行训练，在PRW中，每个ID对应的训练样本平均为50；后者通过将detection confidence与 similarity
measurement进行组合来解决因为gallery大小的问题而引起的精确度下降问题。

Experiments
（图比较大，就不放上去了，可以仔细看原文）
1.比较重要的一点就是，给定一个recognizer，re-id的表现与采用IoU大于0.7标准来评估的detector的表现一致。如果使用的是IoU大于0.5的标准，那么detector的优劣对于re-id的准确率没有精确的预测作用。从中得出的结论就是：对于detector的ranking及选择，最好使用IoU大于0.7的这一标准。
2.使用IDE的精确度比使用hand-crafted descriptors更好。
3.CWS（Confidence Weighted Similarity）的使用对于因图片中detection数量的增多而导致re-id精确度下降的问题十分有效。