文献阅读笔记——Action Recognition with Stacked Fisher Vectors

转自：http://blog.csdn.net/breeze5428/article/details/39202887

本文由Xiaojiang Peng发表在计算机视觉顶级国际会议ECCV2014。由标题可以看出作者是利用分层的Fisher Vectors做行为识别。作者的动机是想将特征的维度做高。这种分层的做法近几年比较常见，如 ICRA 2014关于3d点云无监督特征的论文Unsupervised Feature Learning for 3D Scene Labeling，ICRA的这篇论文做了两层的Sparse Coding，在Sparse Coding的基础上做Sparse Coding。

本文框架

如图1所示，作者给出了本文基于Fisher Vectors的框架和传统的基于Fisher Vectors的框架不同。本文做了两层的Fisher Coding，在得到底层特征的Fisher Vectors后，在Fisher Vectors的基础上得到新的Fisher Vectors。第二层输出的Fisher Vectors即作者所称的 Stacked Fisher Vectors (SFV)，在做分类时可直接将SFV导入分类器中。作者通过实验验证，将FV同SFV串联起来形成高维特征效果要比单独用FV或者SFV效果更好。小结下本段的意思，SFV是FV上的特征，即关于特征的特征，即中层特征。

本文算法

第一层Fisher Vectors 提取

提取第一层的目的是为第二层的Fisher Vectors提供原料。第一层Fisher Vectors 提取就是一般的Fisher Vectors向量提取过程。本文利用的底层特征是iDT。一般的步骤包括：（1）对data set中的iDT特征做PCA whitening；（2）GMM得到K1个高斯模型（3）得到当前图片的中各iDT特征的Fisher Vectors。得到iDT特征的Fisher Vectors后，从视频的W H L空间上各维度上以一定步长采样小方块，本文定义了12种尺度宽高时长的小方块。筛选出轨迹数量大于某一阈值的小方块，累加各小方块中的Fisher
Vectors。每个小方块可以得到一个局部累加的Fisher Vector，这些

第二层 Fisher Vectors 提取

第二层的 Fisher Vectors 提取类似第一层，原料是第一层小方块对应的 Fisher Vectors 。 Fisher Vectors 维度较高，需要做降维，本文采用的是最大边缘降维法，具体见本文。