极简笔记 DeepID-Net: Object Detection with Deformable Part Based Convolutional Neural Networks

极简笔记 DeepID-Net: Object Detection with Deformable Part Based Convolutional Neural Networks

论文地址 http://www.ee.cuhk.edu.hk/~xgwang/papers/ouyangZWpami16.pdf

这是CUHK王晓刚组2017年的一篇TPAMI，最早发在CVPR2015，增加实验之后投到的期刊，所以对比实验都是些AlexNet，GoogLeNet等早期网络模型，faster-rcnn也还没有出现。选读这篇文章是因为想看看Deformable Part Method（DPM）如何和CNN结合。

文章核心贡献：1. 新的目标检测的网络架构；2. 修改了pretrain的设置，提升了性能；3. 把DPM和CNN结合起来的def-pooling layer取代max-pooling layer。pipeline见图



作者认为在做检测时候，单单对框框中的物体进行分类会有困难，比如只框出一个小小的排球，可能会和游泳运动员戴在头上的泳帽的纹理搞混。此时需要整张图的全局信息，当发现排球在排球场上，泳帽出现在泳池里，这时检测分类会更加准确，而不会因为局部纹理而被误导。



很多检测网络都是现在分类任务上pretrain的，文章认为这两个任务有很大不同k，分类任务需要对位置尺度不敏感，而检测任务对位置尺度敏感，因此不能直接生搬硬套。文章使用ImageNet cls-loc的1000类数据进行了pretrain，之后再在200类检测数据集上进行fine-tuning，获得更好效果。



文章认为CNN中间层每个channel，实际就是物体某个部件的响应图。这个HOG+DPM的流程非常类似，所以作者将DPM的思想加入CNN中，提出用于DPM计算的def-pooling layer。记第c个通道的feature map为McMc,它的第(i,j)(i,j)个像素为M(i,j)cMc(i,j),响应值为m(x,y)cmc(x,y)。记anchor中心坐标为(x,y)(x,y),anchor上像素的偏移为(δx,δy)(δx,δy)，偏移像素点的绝对坐标为zδx,δy=(x,y)T+(δx,δy)Tzδx,δy=(x,y)T+(δx,δy)T。ϕ(δx,δy)=∑Nn=1ac,ndδx,δyc,nϕ(δx,δy)=∑n=1Nac,ndc,nδx,δy表示相对坐标下部件偏移的惩罚项，其中a,da,d都是参数，成对出现，NN表示参数个数，可根据需要设置。m˜c(zδx,δy,δx,δy)=mzδx,δyc−ϕ(δx,δy)m~c(zδx,δy,δx,δy)=mczδx,δy−ϕ(δx,δy)表示DPM得分值，之后求anchor中最大值即为anchor中心点在该通道的输出：

b˜(x,y)c=maxδx,δy∈{−R,...,R}m˜c(zδx,δy,δx,δy),where x=1,...,W,y=1,...,Hb~c(x,y)=maxδx,δy∈{−R,...,R}m~c(zδx,δy,δx,δy),where x=1,...,W,y=1,...,H

至于类似max-pooling的地方，也就是取stride不为1就能实现下采样，BP算梯度就和max-pooling一样来。参数aa是可学习的，参数dd是提前确定的。为了容易理解，文章举了个例子。当N=1N=1即只有一对参数的时候，令a1=1a1=1

dδx,δy1={0∞(|δx|,|δy|≤R)(|δx|,|δy|>R)d1δx,δy={0(|δx|,|δy|≤R)∞(|δx|,|δy|>R)

此时即为max-pooling。说明max-pooling是DPM的一种特殊情况，即对偏移超过filter之外的像素给予极大惩罚，filter之内不惩罚。文章最终选择N=1,R=2N=1,R=2，取代所有max-pooling层。（dd参数设置请见文章第五页右侧example2）



由于后续分步实验结果太多，而且实验比对和state-of-art有差距，不在这儿列出（列出来就不能叫极简笔记，而应该叫极繁笔记了），详见论文。不过私以为本篇文章DPM与CNN的结合方式并不让人满意，因为CNN高层的filter同样能做到对局部的组合学习，而此篇文章参数dd predefine的方式反而与网络自主学习特征、无人为设定的想法背道而驰。CNN与DPM的结合还有待进一步研究。