【手势识别-论文学习】 Video-based Hand Manipulation Capture Through Composite Motion Control
2015-08-18 11:51
507 查看
(SIGGRAPH2013) Video-based Hand Manipulation Capture Through Composite Motion Control
这篇文章是粗读,因为该文是对视频序列的全局优化,所以实时性很差,和我项目相关性小。(后面的重建,优化过程没有细看)
文章概要:
作者希望能捕捉手在和物体交互的时候的精细动作,然后在3D环境中虚拟手和物体的交互。同时因为是对整个视频序列进行模拟,所以希望不要出现“unpleasant visual artifacts such as motion jerkiness, hand-object penetration, and improper interaction between the hand and object.”
因此步骤是:
用scanner扫描建立一个手部3D模型,16个点,28个自由度,然后每一帧都用PD控制模型去计算每一个自由度的角度和速度等。
3D模型运动以后,调整mesh然后在不同角度进行投影,形成多张摄像头视角的图像,这是假设值。
用6个摄像头捕捉实际中的图像(6个...
),这是观测值。
目标就是,让观测值和假设值尽可能的匹配:所以需要一个匹配的标准,作者使用了轮廓,颜色,边缘三个标准来计算两者的匹配程度。
在全局(视频序列)上找一个全局最优解。但是因为在所有的帧上找最优解,解空间维度过高,因此作者将手和物体发生了碰撞的时刻作为分割点,这样来降低解空间的维度。
本文的demo视频效果看起来不错。另外比较赞同作者的一些观点:
data-driven的方法始终是找发生过的情况的相似解,不论是generative或者是discriminative的,都很难用于差异性较大的未知情况,比如说手抓不同的物体的方式是不同的,不可能把所有情况都作为样本来训练模型。因此手势识别中模型的加入是很有必要的。
对于纯靠image的appearance的方式的确很难做到很好的稳定和精细,尤其是当只有两个或更少的摄像头时,遮挡问题会很严重,观测值丢失,会导致序列上手会发生jerk等现象。并且,也很难去做从image上去捕捉细微动作。
这篇文章是粗读,因为该文是对视频序列的全局优化,所以实时性很差,和我项目相关性小。(后面的重建,优化过程没有细看)
文章概要:
作者希望能捕捉手在和物体交互的时候的精细动作,然后在3D环境中虚拟手和物体的交互。同时因为是对整个视频序列进行模拟,所以希望不要出现“unpleasant visual artifacts such as motion jerkiness, hand-object penetration, and improper interaction between the hand and object.”
因此步骤是:
用scanner扫描建立一个手部3D模型,16个点,28个自由度,然后每一帧都用PD控制模型去计算每一个自由度的角度和速度等。
3D模型运动以后,调整mesh然后在不同角度进行投影,形成多张摄像头视角的图像,这是假设值。
用6个摄像头捕捉实际中的图像(6个...
),这是观测值。
目标就是,让观测值和假设值尽可能的匹配:所以需要一个匹配的标准,作者使用了轮廓,颜色,边缘三个标准来计算两者的匹配程度。
在全局(视频序列)上找一个全局最优解。但是因为在所有的帧上找最优解,解空间维度过高,因此作者将手和物体发生了碰撞的时刻作为分割点,这样来降低解空间的维度。
本文的demo视频效果看起来不错。另外比较赞同作者的一些观点:
data-driven的方法始终是找发生过的情况的相似解,不论是generative或者是discriminative的,都很难用于差异性较大的未知情况,比如说手抓不同的物体的方式是不同的,不可能把所有情况都作为样本来训练模型。因此手势识别中模型的加入是很有必要的。
对于纯靠image的appearance的方式的确很难做到很好的稳定和精细,尤其是当只有两个或更少的摄像头时,遮挡问题会很严重,观测值丢失,会导致序列上手会发生jerk等现象。并且,也很难去做从image上去捕捉细微动作。
相关文章推荐
- 发布应用到App Store
- 统计svn上两个版本或一段时间内的代码修改行数
- 获取项目中代码行数、图片资源列表及大小
- message from server: "Host 'xxx' is not allowed to connect to this MySQL server的解决
- 一个数组中,一些数出现2次,只有两个数各出现一次,找出这两个数
- u-boot可ping通PC,PC不可ping通u-boot
- Android中加入百度地图SDK
- avfoundation介绍
- iOS开发 -- JSON文件转Plist文件方法
- 在Eclipse中导入android studio项目
- lightoj 1031 - Easy Game
- C# Powerpoint 禁止或允许修改形状
- Web在线视频方案浅谈
- 要做linux运维工程师的朋友,必须要掌握以下几个工具才行
- 注解(annotaion)一对一、一对多、多对一
- CSS3学习笔记(3)-CSS3边框
- android开发 缩放到指定比例的尺寸
- 命令行光标移动快捷键
- shell脚本中自动输入密码
- Jenkins的环境变量的使用