行人属性“Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl”

多任务深度学习网络，一般是先设计网络有一些共享层，然后有多个分支学习不同的任务。论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。thin网络使用SOMP初始化。

task-specific子网络或分支：浅层特征共享，深层特征task-specific，类似属性结构。计算量大，且受设计者主观认识影响。

相关研究

多任务学习：一些方法认识到哪些任务之间可以共享。HyperFace进行人脸检测，landmark定位，姿态估计和性别识别等多任务的学习。UberNet，MultiNet，Cross-ResNet。

模型压缩和加速

行人属性识别：监控场景提升行人再人证，电子商务提升衣物检索，人脸属性提升人脸检测和矫正。state-of-the-art[5][24][44][49]。

方法描述

1. 瘦网络初始化及滤波器选择

VGG-16的瘦身版，thin-w模型，w是瘦身因子，瘦身版的模型与原始VGG-16对比为：



瘦身版卷积层的参数W0,l从原始预训练的参数Wp,l中选取，最小化目标函数：



使用贪心SOMP寻找近似解w∗(l)，算法描述为：



2. 逐层加宽

结合点：网络分割成两个或多个子网络或分支，对于行人属性，每个子网络的预测是sigmoid单元，生成归一化的属性置信度得分。

论文仅在结合点加宽网络，扩展后新增加的矩阵参数与扩展器参数矩阵大小相同，网络在扩展点有多个输出：yl−1j=σl−1(P(Wl−1j)xl−1)forj∈[c]

扩展的示意图为：



3. 任务聚合

相似度小的任务分割的早，共享的特征少。对于某个任务分支来说容易识别的样本，对另外一个任务来说可能是困难的样本。task之间的密切关系为：



密切关系反应任务集合，两个分支的密切关系为：



密切关系得分为Ab(k,l)=(Ab(k,l)+Ab(l,k))/2，Ab(k,l)通过观察任务间最大距离衡量两个分支间密切关系。

4. 宽度选择

损失函数为：Ll(gd)=(d−1)L02pl+αLs(gd)。

其中(d−1)L02pl是新增分支的惩罚项，αLs(gd)是分割的惩罚项。α是分支因子，大的分支因子鼓励分割。分割想是分支密切关系矩阵的函数，即：



上式定义了相同集合中任务间的最大距离，惩罚相同分支中不相似的任务。

实验结果

CelebA人脸属性分类和DeepFashion衣物属性分类



Branch-32-2.0 模型的实际task归类：