论文笔记 | HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

作者

Tao Kong Anbang Yao Yurong Chen Fuchun Sun

摘要

本文提出了一种HyperNet，同时用于处理region proposal和object detection。Hyper特征是将各层featuremaps的特征聚集然后统一到一个空间。在cpu上处理速度是5fps。

1 Introduction

首先说了Rcnn 到Faster rcnn的情况，指出Faster rcnn对于小物体很struggle的问题， 作者认为：

1. Feature for object proposal 和 detection的信息需要更加丰富

2. 用来precompute的层的resolution需要合理

越深的网络recall越好，但是定位能力却变差。

收到FCN的启发，将多层的特征结合用来定位。

HyperNet的能力：

1. 50个proposal 95% recall，100个proposal97% recall

2. on the detection challenges of voc2007, 2012outperforming the seminal fast Rcnn by6% and3%

3. 5fps

2 related work

Proposal：Deepbox；RPN；DeepProposal

3 HyperNet framework

3.1 Hyper Feature Production

multi-level maps ===max pooling or Deconv===uniform space===LRN===>>>Hyper Feature(single output cube)

优点：

1. 多层次特征

2. 合适的分辨率

3. 计算高效，无冗余

3.2 Region Proposal

在特征提取顶端设计一个深度的分类网络是非常有用的方法，据此本文设计了一个轻量级的region Proposal generater。

generater=ROI pooling+ 1conv layer+1Fully connect layer+2 output

每张图片产生3w张不同尺寸和长宽比的候选框，对于每一个候选框，两个输出中一个是计算框中有object的概率一个是box的offsets。之后使用NMS，0.7的阈值最终留下1k个region Proposals，最终使用k个，本文在训练的时候使用200个可是在测试时使用多个不同的数量来评估。

3.3 object Detection

典型的物体检测是使用FC-Dropout-FC-Dropout的pipeline，这里文中加了一道3x3x63的conv layer 不仅增加了表达能力，也减低了特征维数。之后就对候选框进行打分和bbx regression了

3.4 Joint Training

对于proposal

正例：>0.45

负例：<0.3



Lreg使用L1 ，lambda等于3（当进行detection时等于1），使用6步训练整个网络：



Lr：0.005 开始100kminibatches，0.0005for next 50k

momentum:0.9

weight decay:0.0005

initialized :xavier

3.5 speeding up

？

1. 降低了特征维数126-》4

2. sliding window classifier更容易（？？？？）

3. recall略有下降， 速度增加40倍

5 Experimental evaluation

比起RPN，对于IoU适应域更大， rpn在大于0.8时性能下降很快



当目标较小的时候HyperNet有更好的表现



上图说明：1.多层结合要好于一层，2.最顶层的表现能力更强3. 相邻层关联性大， 间隔大些更好

5.6 visualization

5.7 running time

6 conclusion

作者

摘要

Introduction

related work

HyperNet framework
1 Hyper Feature Production

2 Region Proposal

3 object Detection

4 Joint Training

5 speeding up

Experimental evaluation
6 visualization

7 running time

conclusion