超分辨率重建——关于多尺度结构相似性

今天在读文章的过程中看了一篇关于多尺度结构相似性在超分辨率重建方面使用的文章，对里面一些词感觉生涩。1、何为结构相似性2、多尺度的含义，何为相同尺度图像相似块，何为不同尺度图像相似块先说结构相似性，在之前的实验中，一直是以PSNR作为重建质量的参考指标，最近几篇文章看到了很多用结构相似性来做权衡的。结构相似性SIM（Structural Similarity），所谓的结构，比如你看到一幅图中比如说街道，这是有明显的结构特征的，所以也可以使用重建前后两幅图像的结构特征，来判断图像重建结果的好坏。相比于PSNR更注重均方误差，即整幅图像的灰度信息，SIM在结构性方面更注重一些。重建后图像和原高清图像的结构相似图可以用公式表示为：其中　为均值，为方差，为协方差，C1，C2为保证分母不为0的小常数。显然值越大越好，最大为1。再说多尺度，在博客搜到这么篇文章挺好的，与大家分享本文转自：http://blog.csdn.net/chgm_456d/article/details/8100513我一开始以为  多尺度与多分辨率  是一样的意思。后来看到了xiaowei_cqu博客的一篇文章“【OpenCV】SIFT原理与源码分析：DoG尺度空间构造”(以下简称，xiaowei一文)，才发现我的理解有误。 尺度空间（scale space）理论要理解多尺度，首先要知道什么是尺度空间。xiaowei一文中提到，自然界中的物体呈现出不同的形态，需要不同的尺度观测。比如，建筑物用“米”测量，原子用“纳米”。比较形象的是，在平常使用的Google地图，可以滑动鼠标来改变地图的尺度；照相机通过调焦，将景物拉近拉远。尺度空间中各尺度图像的模糊程度逐渐变大，模拟了景物由近到远在视网膜形成过程。为什么要讨论尺度空间？因为计算机在不知道图像尺寸的情况下，需要考虑多尺度以获取兴趣物体的最佳尺度。同时，在一幅图像的不同尺度下检测出相同的关键点来匹配，即尺度不变性。[b]尺度空间表达——高斯模糊[/b]David Lowe 2004年 在Int. Journal of Computer Vision 的经典论文（Distinctive Image Features from Scale-Invariant Keypoints）中，对尺度空间的定义：“It has been shown by Koenderink (1984) and Lindeberg (1994) that under a variety of reasonable assumptions the only possible scale-space kernel is the Gaussian function. Therefore, the scale space of an image is defined as a function, L(x, y, σ), that is producedfrom the convolution of a variable-scale Gaussian, G(x, y, σ), with an input image, I (x, y)."抽取要点：1. 高斯核是唯一可以产生多尺度空间的核；2. 一幅图像的尺度空间 L(x, y, σ), 定义为原始图像 I(x,y) 与一个可变尺度的2维高斯函数G(x, y, σ)卷积运算。即尺度空间形式表示为：其中，（金字塔）多分辨率表达——降采样图像金字塔化一般包括两个步骤：使用低通滤波器平滑图像；对图像进行降采样（通常是水平，竖直方向1/2），从而得到一系列尺寸缩小的图像。对于二维图像，每一层图像由上一层分辨率的长、宽各一半，也就是四分之一的像素组成。多尺度和多分辨率的区别最大的不同：    尺度空间表达是由不同高斯核平滑卷积得到，在所有尺度上有相同的分辨率；    而（金字塔）多分辨率表达每层分辨率减少固定比率。所以，（金字塔）多分辨率生成较快，且占用存储空间少；而多尺度表达随着尺度参数的增加冗余信息也变多。多尺度表达的优点在于图像的局部特征可以用简单的形式在不同尺度上描述；而（金字塔）多分辨的表达没有理论基础，难以分析图像局部特征。