An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Lea
2017-11-28 19:43
543 查看
An End-to-End Approach to Natural Language Object Retrieval
via Context-Aware Deep Reinforcement Learning
这篇文章的核心就是使用使用强化学习的观点,在图像西红找出最合适的物体边框。强化学习的核心是在不同的状态下执行不同的动作,那么应该如何建模。作者将将图像看做state,然后初始化了8和action,这8个action分为两组,第一组执行上下左右四个动作改变候选框的位置,第二组动作就是想改变候选框的大小。其实这个方法在object
detection里面也有应用,如下所示。
第二组动作改变图像的大小的具体方法:加入当前状态下的左上角和右下角的坐标是(x1,y1),(x2,y2),假若向下移动,则变为(x1+0.2,x2+0.2)(x2+0.2,y2+0.2),哈哈,就是改变一下位置嘛。
至于网络框架,首先使用ResNet提图像的特征,注意并没有resize到固定的维度,其实在有Ground truth的图像中,不用resize,因为也以使用ROI pooling加上Ground Truth的信息,可以提取出local和global的信息。网络最终输出动作值函数和值函数。另外考虑到动作之间的依赖性,将前50个回合中的动作也被考虑在内。
via Context-Aware Deep Reinforcement Learning
这篇文章的核心就是使用使用强化学习的观点,在图像西红找出最合适的物体边框。强化学习的核心是在不同的状态下执行不同的动作,那么应该如何建模。作者将将图像看做state,然后初始化了8和action,这8个action分为两组,第一组执行上下左右四个动作改变候选框的位置,第二组动作就是想改变候选框的大小。其实这个方法在object
detection里面也有应用,如下所示。
第二组动作改变图像的大小的具体方法:加入当前状态下的左上角和右下角的坐标是(x1,y1),(x2,y2),假若向下移动,则变为(x1+0.2,x2+0.2)(x2+0.2,y2+0.2),哈哈,就是改变一下位置嘛。
至于网络框架,首先使用ResNet提图像的特征,注意并没有resize到固定的维度,其实在有Ground truth的图像中,不用resize,因为也以使用ROI pooling加上Ground Truth的信息,可以提取出local和global的信息。网络最终输出动作值函数和值函数。另外考虑到动作之间的依赖性,将前50个回合中的动作也被考虑在内。
相关文章推荐
- An Efficient Shape-Based Approach to Image Retrieval
- 图像增强:LLNet: A Deep Autoencoder approach to Natural Low-light Image Enhancement介绍
- 《Context Aware Query Image Representation for Particular Object Retrieval》论文阅读
- 立体匹配——End-to-End Learning of Geometry and Context for Deep Stereo Regression
- A New General Deep Learning Approach for Natural Language Processing
- 目标检测--Object Detection via Aspect Ratio and Context Aware
- error: warning: Stopped in a context claiming to capture an Objective-C object pointer,
- End-to-End Learning of Geometry and Context for Deep Stereo Regression
- Video Google: A Text Retrieval Approach to Object Matching in Videos
- [论文笔记] An End-to-End Approach for QoS-Aware Service Composition (EDOC, 2009)
- CVPR2012文章阅读(2)-A Unified Approach to Salient Object Detection via Low Rank Matrix Recovery
- Context-aware Natural Language Generation with Recurrent Neural Networks
- Video Google: A Text Retrieval Approach to Object Matching in Videos
- A pointer to an object & A pointer one past the end of a different object
- 解决调用context.Session["NAME"]时总出现Object reference not set to an instance of an object.异常的方法
- 论文笔记之:Natural Language Object Retrieval
- 读论文:CVPR2012,A unified Approach to Salient Object Detection via Low Rank Maxtrix Recovery
- NOTE:Deep Reinforcement Learning with a Natural Language Action Space
- how to install an older version of package via NuGet?
- 【论文分享】APPLYING DEEP LEARNING TO ANSWER SELECTION: A STUDY AND AN OPEN TASK