多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”

论文使用多任务学习框架进行精细的车辆分类，同时学习分类和相似度约束。车辆分类可以分为多层，如品牌、型号、年款，为了对多层之间相关性进行建模，使用triplet loss，将标记的结构如hierarchy的或者shared attributes嵌入到框架中。

为了获得精细粒度的特征表示，一些方法加入similarity 约束，如contrastive、tiplet损失。直接使用相似度约束在找相同的实例中比较有效，但分类的精度与分类损失相比要低。

相关研究

细粒度分类相关的研究，part-level加object-level信息，distance-metric学习。相似度约束学习到的特征表示一般用来验证。有论文用softmax loss+contastive约束，本文使用triplet约束+softmax loss。

方法描述

sotmax 损失：



triplet loss，三元组（r,p,n）,r是参考图像，p是与r相同类的样本，n是不同类的样本：



两个损失的加权组合：



联合学习的网络结构为：



嵌入标记结构：

对于两层结构，构造四元组(ri,p+i,p−i,ni)，负样本包括在粗糙层同类的样本p−i，和不同类的负样本ni。四元组的损失可以分成两个三元组表示：



实验结果