Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
2016-01-25 13:44
309 查看
Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
这篇文章提出了一种新的视频表示方法,叫做trajectory-pooled deep-convolutional descriptor(TDD)。他拥有手工设计的特征和深度学习的特征的优点。用深度结构来学习有区分的卷积特征映射。然后用轨迹控制的pooling方法来融合这些卷积特征。本文设计了两种正则化的方法来转化卷积特征映射,即时空正则化和通道正则化。
我们提的特征的优点:1)能够自动的学习得到高可区分性的特征,2)考虑了时间维的本质特性,引进了轨迹控制策略来采样和pooling深度学习的特征。
改进的轨迹:首先,在8个不同的空间尺度上,用步长为5个像素的格子,密集采样一系列的点。然后,这些被采样的点被密集的光流区域的均值滤波器跟踪。最后,这些缺乏运动信息的静态轨迹被删除,其他有巨大变化的轨迹也被忽略,因为他们是明显的不正确的光流。
改进的轨迹能够促进密集轨迹的识别的性能,因为他考虑了相机的运动信息。我们对改进的轨迹做了一点点的改变。我们只跟踪原始空间尺度上的点的轨迹。我们发现在单个尺度上能够比较快速的实现。
深度卷积描述子:
(1)卷积网络:我们选择的是two-stream ConvNet,因为他的性能不错。我们做出了一点点的改进,我们使用相同的网络结构,原始的网络在时间网络上忽略了第二层上的局部响应正则化(LRN),我们加上了。
(2)卷积特征映射:一旦两路的卷积网络训练完成,我们把它看做是一般的特征提取器来得到视频的卷积特征映射。对于每一帧,我们都把他看作是空间网络和时间网络的输入。我们对空间网络和时间网络做出了两点的改变:第一,我们删除了特征提取目标层后面的所有层。第二,在每一个卷积或者pooling层之前,对每一层做一个0填充。
轨迹池化的描述子:从提取的轨迹和卷积特征映射中得到trajectory-pooled deep-convolutional descriptory(TDDs)。
提取TDD包括两个步骤:特征映射正则化和轨迹池化。
我们设计了两种正则化的方法:时空正则化和通道正则化。我们选择时空正则化。
基于轨迹和正则化后的卷积特征映射来提取TDDs。
多尺度的TDD提取:我们在一个单一的尺度上计算光流和跟踪点,然后我们用多尺度的金字塔表示视频的帧和光流。
特征编码:我们选择Fisher vector来编码TDDs。然后用一个线性的SVM做分类器。为了训练GMMs,我们首先用PCA来对TDD去耦合,减少他的维度。
原文转自:http://blog.csdn.net/lk798362252/article/details/48243657
相关文章推荐
- RHCE 学习笔记(9) 网络管理
- moon 01/24 JNDI ------- Apache Geronimo JNDI 命名和 Java 资源连接池,第 1 部分: 数据源连接 读后笔记
- Android平台调用WebService详解
- FastDFS启动少了8888和8080http端口的进程
- ThinkPHP整合微信支付之刷卡模式
- C# CRC32
- 获取表头信息
- heartbeat v2基于haresources实现HA Web
- Git 应用参考
- Android开发之WebService介绍
- 从零开始搭建架构实施Android项目
- jquery弹出一个静态图片框
- [算法学习]Java实现字符串全排列
- js中数组的sort()方法用法,参数以及排序原理
- 苏泊尔借助微软CRM提升客户满意度
- 对JVM中垃圾回收机制的个人理解--新生代,老年代,永久代
- 调用系统照相机,并解决内存溢出
- Shiro权限相关配置文件
- 简单工厂模式
- 简单工厂模式