超分辨率 分类: 图像处理(转载) 2014-09-23 14:12 115人阅读 评论(0) 收藏
2014-09-23 14:12
316 查看
1、 超分辨率重建
通过对获得的低分辨率图像进行处理以后,一方面能够对成像光学系统的点扩展函数进行反卷积,去除光学系统的影响;另一方面能够获得显示图像的像元总数增加,同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后,图像的分辨率得到了改善,但获得的并不一定是真实的高分辨率图像,而是对真实高分辨率图像的某种估计,因而通常称所获得的图像为超分辨率图像,相应处理过程为超分辨率图像重建.
2、 超分辨率重建技术应用
(1) 生物医学成像: 核磁共振成像等;
(2) 卫星成像:遥感、遥测、军事侦察等;
(3) 视频监控
(4) 视频格式转换
(5) 视频增强和复原:老旧电影的翻制等;
(6) 显微成像、虚拟现实等
3、 降质模型
图像的超分辨率重建是建立在图像降质的数学模型基础上的,降质的数学模型反映图像降质的因素,才能用数学方法进行处理,重建图像。
(1) 位移—模糊模型
(2) 模糊—位移模型
4、 超分辨率涉及的两个问题:
a) 图像修复
改良光照不均匀、噪声较多的图像,但是不改变图像大小
b) 图像插值
改变图像大小,对单张图像进行差值并不属于超分辨率重建技术
5、 基于重建的超分辨率技术
(1) 频域方法
通过在频率域消除频谱而改善图像的空间分辨率。
基于傅里叶变换的移位特性; (Tsai and Huang)
考虑光学系统的点扩展函数和噪声的影响;(Tekalp)
估计帧间整体平移参数的解算方法;(Kaltenbacker and Hardie)
用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。
由于频率域方法只能应用于全局平移和线性空间不变降质模型,并且它对空间域先验的能力不足,缺少灵活性,所以目前这类方法已经不再是研究的热点。
(2) 空域方法
非均匀样本内插法(Non-uniform interpolation);
迭代反投影方法(Iterative Back Projection , IBP);
凸影投影法(Projection onto Convex Set, POCS);
最大后验概率估计(Maximum a Posteriori ,MAP);
混合Map/POCS方法;
自适应滤波方法;
基于重构的方法比较成熟,主要针对图像空间信息的增强和复原,但是仍存在很多问题:
(1) 实时性
(2) 鲁棒性
(3) 盲超分辨率
6、 基于学习的超分辨率技术
基于学习的概念首次由Freeman提出,基本思想是先学习低分辨率图像与高分辨率图像之间的关系,利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系,学习因降质丢失的高频分量,然后与插值得到的初始估计相加恢复出高分辨率图像。
有效组织图像块数据库提高匹配效率;(Bishop)
Super-resolution enhaneementofvideo.IntemationalConfereneeonArtifieial Intelligenee and Statisties,2003.
通过主要轮廓先验增强图像质量;(Sun)
Image hallueination with Primal sketch Priors.IEEE Computer Society Conference Computer on Computer Vision and Pattern Recognition,2003,2:729-736
基于流形学习的方法;(Chang)
H.Chang,D.Y.Yeung,Y.Xiong. Super-resolution through neighbor embedding. IEEE Computer Society Conference on Computer Vision And Pattern Recognition,2004,l:275-282.
利用多尺度张量投票理论来估计位置的高分辨率图像(Tai)
Yu-Wing Tai,Wai-Shun Tong,Chi-Keung Tang. Perceptually-inspired an Edge-directed color image super-resolution .IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2006,2:1948 -1955.
融合不同尺寸的图像进行分辨率增强(Joshi)
A learning-based method for image super-resolution from zoomed observation. IEEE Transactions on Systems, Man and Cybernetics,2005;
7、 可能的研究方向
(1) 图像超分辨率重建是一个典型的逆问题,现有的研究绝大多数都是用仿真来模拟图像的降质,当处理具体问题时,一个很重要的问题就是图像降质模型的辨识,这个问题目前研究的人还不是很多,是需要深入研究的方向;
(2) 一些新的基于学习的方法也可以用于超分辨率重建领域;
(3) 图像超分辨率问题的特殊性使得对其算法性能的评判没有统一的标准;
通过对获得的低分辨率图像进行处理以后,一方面能够对成像光学系统的点扩展函数进行反卷积,去除光学系统的影响;另一方面能够获得显示图像的像元总数增加,同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后,图像的分辨率得到了改善,但获得的并不一定是真实的高分辨率图像,而是对真实高分辨率图像的某种估计,因而通常称所获得的图像为超分辨率图像,相应处理过程为超分辨率图像重建.
2、 超分辨率重建技术应用
(1) 生物医学成像: 核磁共振成像等;
(2) 卫星成像:遥感、遥测、军事侦察等;
(3) 视频监控
(4) 视频格式转换
(5) 视频增强和复原:老旧电影的翻制等;
(6) 显微成像、虚拟现实等
3、 降质模型
图像的超分辨率重建是建立在图像降质的数学模型基础上的,降质的数学模型反映图像降质的因素,才能用数学方法进行处理,重建图像。
(1) 位移—模糊模型
(2) 模糊—位移模型
4、 超分辨率涉及的两个问题:
a) 图像修复
改良光照不均匀、噪声较多的图像,但是不改变图像大小
b) 图像插值
改变图像大小,对单张图像进行差值并不属于超分辨率重建技术
5、 基于重建的超分辨率技术
(1) 频域方法
通过在频率域消除频谱而改善图像的空间分辨率。
基于傅里叶变换的移位特性; (Tsai and Huang)
考虑光学系统的点扩展函数和噪声的影响;(Tekalp)
估计帧间整体平移参数的解算方法;(Kaltenbacker and Hardie)
用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。
由于频率域方法只能应用于全局平移和线性空间不变降质模型,并且它对空间域先验的能力不足,缺少灵活性,所以目前这类方法已经不再是研究的热点。
(2) 空域方法
非均匀样本内插法(Non-uniform interpolation);
迭代反投影方法(Iterative Back Projection , IBP);
凸影投影法(Projection onto Convex Set, POCS);
最大后验概率估计(Maximum a Posteriori ,MAP);
混合Map/POCS方法;
自适应滤波方法;
基于重构的方法比较成熟,主要针对图像空间信息的增强和复原,但是仍存在很多问题:
(1) 实时性
(2) 鲁棒性
(3) 盲超分辨率
6、 基于学习的超分辨率技术
基于学习的概念首次由Freeman提出,基本思想是先学习低分辨率图像与高分辨率图像之间的关系,利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系,学习因降质丢失的高频分量,然后与插值得到的初始估计相加恢复出高分辨率图像。
有效组织图像块数据库提高匹配效率;(Bishop)
Super-resolution enhaneementofvideo.IntemationalConfereneeonArtifieial Intelligenee and Statisties,2003.
通过主要轮廓先验增强图像质量;(Sun)
Image hallueination with Primal sketch Priors.IEEE Computer Society Conference Computer on Computer Vision and Pattern Recognition,2003,2:729-736
基于流形学习的方法;(Chang)
H.Chang,D.Y.Yeung,Y.Xiong. Super-resolution through neighbor embedding. IEEE Computer Society Conference on Computer Vision And Pattern Recognition,2004,l:275-282.
利用多尺度张量投票理论来估计位置的高分辨率图像(Tai)
Yu-Wing Tai,Wai-Shun Tong,Chi-Keung Tang. Perceptually-inspired an Edge-directed color image super-resolution .IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2006,2:1948 -1955.
融合不同尺寸的图像进行分辨率增强(Joshi)
A learning-based method for image super-resolution from zoomed observation. IEEE Transactions on Systems, Man and Cybernetics,2005;
7、 可能的研究方向
(1) 图像超分辨率重建是一个典型的逆问题,现有的研究绝大多数都是用仿真来模拟图像的降质,当处理具体问题时,一个很重要的问题就是图像降质模型的辨识,这个问题目前研究的人还不是很多,是需要深入研究的方向;
(2) 一些新的基于学习的方法也可以用于超分辨率重建领域;
(3) 图像超分辨率问题的特殊性使得对其算法性能的评判没有统一的标准;
相关文章推荐
- 数字图像处理中的形态学 分类: 图像处理(转载) 2014-09-22 20:52 110人阅读 评论(0) 收藏
- 最临近、双线性、三次卷积插值(图像放缩) 分类: 图像处理(转载) 2014-09-23 08:16 219人阅读 评论(0) 收藏
- 影像卷积和滤波运算(高斯滤波模板) 分类: 图像处理(转载) 2014-08-26 21:44 200人阅读 评论(0) 收藏
- 卷积和积分运算 分类: 图像处理(转载) 2014-08-04 22:31 124人阅读 评论(0) 收藏
- 图像处理--------应用卷积– 轧花与边缘检测 分类: 视频图像处理 2015-07-24 09:50 24人阅读 评论(0) 收藏
- 图像分析------直方图分析 分类: 视频图像处理 2015-07-24 10:03 33人阅读 评论(0) 收藏
- 图像处理------快速均值模糊(Box Blur) 分类: 视频图像处理 2015-07-24 09:28 30人阅读 评论(0) 收藏
- 图像处理中振铃现象 分类: 图像处理 2014-12-16 23:40 565人阅读 评论(0) 收藏
- 图像处理------基于像素的皮肤检测技术 分类: 视频图像处理 2015-07-24 09:56 28人阅读 评论(0) 收藏
- 【转载】使用SDL播放YUV图像数据(转) 分类: ffmpeg-SDL-VLC-Live555 2013-08-28 11:33 757人阅读 评论(0) 收藏
- 图像处理------高斯模糊 分类: 视频图像处理 2015-07-24 09:32 29人阅读 评论(0) 收藏
- 图像处理------噪声之美 - 随机噪声产生 分类: 视频图像处理 2015-07-24 09:22 26人阅读 评论(0) 收藏
- 图像处理------颜色梯度变化 (Color Gradient) 分类: 视频图像处理 2015-07-24 09:23 27人阅读 评论(0) 收藏
- 图像特效------三角几何应用 分类: 视频图像处理 2015-07-24 10:06 37人阅读 评论(0) 收藏
- 图像处理------简单数字水印 - 文字轧花效果 分类: 视频图像处理 2015-07-24 09:37 24人阅读 评论(0) 收藏
- 图像分析------连通组件标记算法 分类: 视频图像处理 2015-07-24 09:57 32人阅读 评论(0) 收藏
- 图像放缩------双立方插值 分类: 视频图像处理 2015-07-24 09:18 34人阅读 评论(0) 收藏
- 机器视觉开源代码集合 分类: 机器视觉 图像处理 2015-04-11 13:57 111人阅读 评论(0) 收藏
- 图像处理------理解卷积 分类: 视频图像处理 2015-07-24 09:25 24人阅读 评论(0) 收藏
- 图像处理------透明混合 - Alpha Blending效果 分类: 视频图像处理 2015-07-24 09:21 28人阅读 评论(0) 收藏