Efficient Salient Region Detection with Soft Image Abstraction笔记
2014-02-09 15:00
495 查看
针对已有的方法中存在的问题:
Itti模型,针对Itti模型进行的扩展的显著性检测方法,以及光谱剩余假说系列的方法过分强调小的,局部特征,对对象级别的应用不适合;
对图像的全局属性进行建模的方法,虽然能够将整个对象较好地检测出来,但是计算复杂度高;
综上找到一种compact并且有效的表示方法很有必要。这样的方法有颜色平均值或亮度平均值表示。但是一阶平均太简单,忽略了颜色的方差以及图像各部分之间的空间关系;
近期,Cheng提出了一种基于区域对比度的方法来对全局显著性进行建模,但是由于这种方法使用了image segments,不太容易对空间分布进行建模。
本文提出的方法既考虑了全局唯一性,有考虑了颜色的空间分布。具体步骤如下:
用GMM对颜色进行聚类
对RGB颜色空间进行量化,将R,G,B均匀量化成12阶,然后计算各通道的直方图,将出现频率高的阶留下,总的像素的覆盖比率为95%;
计算量化后的颜色的协方差矩阵,进而估计GMM中的其余参数,即均值和后验概率。GMM的component的个数为15。
spatial overlap based component clustering
对于图像中的每一个像素,均可以获得一个向量P=[p1, .., p15],保留P中前两个最大元素,P中其余元素置为0
对于每一个分量,先进行一个3*3的均值滤波
计算两个clusters之间的空间一致性C(ci, cj),得到一个pairwise coponent correlation矩阵。
进行聚类,得到C类。采用的方法是message-passing based clustering,correlation矩阵就用来衡量15个GMM分量之间的相似性。用message-passing based clustering的好处是不用指定聚类的数目。
层次表示和索引
0层:所有的像素,可以生成一整全分辨率的显著图(元素个数等于图像的大小);
1层:直方图表示层(元素个数约为85);
2层:GMM表示层(元素个数为15);
3层:message-passing 聚类后的层(元素个数小于15);
底层与高一层具有对应关系,这种对应关系也应该保存。
全局唯一性计算(Global Uniqueness)
在2层,即GMM表示层计算GMM分量ci的全局唯一性,从而得到显著图。
颜色空间分布(Color Spatial Distribution)
在3层,即message-passing clustering后的表示层,计算颜色的空间分布,从而得到显著图。
GU和CSD的整合
V. Gopalakrishnan et al. 2009认为用权重组合单个的显著图并不是一个很好的选择,有时候甚至会变得更差。因此,作者借助于compactness中的假设,将空间差异更小的显著图做为最终的显著图。
实验部分
在MSRA1000上进行的实验,最终的PR Curve与SF相当,所以必定比GS_SP(ECCV2012)差。
Itti模型,针对Itti模型进行的扩展的显著性检测方法,以及光谱剩余假说系列的方法过分强调小的,局部特征,对对象级别的应用不适合;
对图像的全局属性进行建模的方法,虽然能够将整个对象较好地检测出来,但是计算复杂度高;
综上找到一种compact并且有效的表示方法很有必要。这样的方法有颜色平均值或亮度平均值表示。但是一阶平均太简单,忽略了颜色的方差以及图像各部分之间的空间关系;
近期,Cheng提出了一种基于区域对比度的方法来对全局显著性进行建模,但是由于这种方法使用了image segments,不太容易对空间分布进行建模。
本文提出的方法既考虑了全局唯一性,有考虑了颜色的空间分布。具体步骤如下:
用GMM对颜色进行聚类
对RGB颜色空间进行量化,将R,G,B均匀量化成12阶,然后计算各通道的直方图,将出现频率高的阶留下,总的像素的覆盖比率为95%;
计算量化后的颜色的协方差矩阵,进而估计GMM中的其余参数,即均值和后验概率。GMM的component的个数为15。
spatial overlap based component clustering
对于图像中的每一个像素,均可以获得一个向量P=[p1, .., p15],保留P中前两个最大元素,P中其余元素置为0
对于每一个分量,先进行一个3*3的均值滤波
计算两个clusters之间的空间一致性C(ci, cj),得到一个pairwise coponent correlation矩阵。
进行聚类,得到C类。采用的方法是message-passing based clustering,correlation矩阵就用来衡量15个GMM分量之间的相似性。用message-passing based clustering的好处是不用指定聚类的数目。
层次表示和索引
0层:所有的像素,可以生成一整全分辨率的显著图(元素个数等于图像的大小);
1层:直方图表示层(元素个数约为85);
2层:GMM表示层(元素个数为15);
3层:message-passing 聚类后的层(元素个数小于15);
底层与高一层具有对应关系,这种对应关系也应该保存。
全局唯一性计算(Global Uniqueness)
在2层,即GMM表示层计算GMM分量ci的全局唯一性,从而得到显著图。
颜色空间分布(Color Spatial Distribution)
在3层,即message-passing clustering后的表示层,计算颜色的空间分布,从而得到显著图。
GU和CSD的整合
V. Gopalakrishnan et al. 2009认为用权重组合单个的显著图并不是一个很好的选择,有时候甚至会变得更差。因此,作者借助于compactness中的假设,将空间差异更小的显著图做为最终的显著图。
实验部分
在MSRA1000上进行的实验,最终的PR Curve与SF相当,所以必定比GS_SP(ECCV2012)差。
相关文章推荐
- 转-Efficient Salient Region Detection with Soft Image Abstraction笔记
- 论文笔记:Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks
- 深度学习入门笔记:Fast Image Search with Deep Convolutional Neural Networks and Efficient Hashing Codes
- 论文笔记:Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks
- 论文阅读笔记:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- 【笔记】Action Unit Detection with Region Adaptation Multi-labeling Learning and Optimal Temporal Fusing
- 【论文笔记】Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks----论文笔记
- 论文笔记| Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- 论文笔记:Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks
- 论文笔记:Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks
- 论文笔记:Aligning where to see and what to tell: image caption with region-based attention ...
- 【论文阅读笔记】MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
- R-FCN: Object Detection via Region-based Fully Convolutional Networks 论文笔记
- 论文笔记:Training Region-based Object Detectors with Online Hard Example Mining
- 论文笔记 | R-FCN: Object Detection via Region-based Fully Convolutional Networks
- StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 论文笔记
- 【图像处理】图像显著性论文—Frequency-tuned Salient Region Detection
- 阅读图像显著性检测论文五:2011年版本的Global Contrast Based Salient Region Detection
- 2013_ICCV_Efficient Image Dehazing with Boundary Constraint and Contextual Regularization