Hyperspectral Image Recovery via Hybrid Regularization论文阅读笔记
2018-03-23 09:24
781 查看
Hyperspectral Image Recovery via Hybrid Regularization论文阅读笔记论文信息:
Abstract
自然图像大多数包含光滑区域,且其中的一些像素具有光谱高度相关性。该信息可以用来从压缩或含噪的图像中恢复高光谱图像。
本文工作:
(1)构造复合代价函数:平方误差数据拟合项+两个正则项(空间域和谱域);
(2)使用an accelerated proximal-subgradient method 最小化代价函数,优于an accelerated proximal-gradient algorithm that solves the classical basis-pursuit denoising problem。
I. INTRODUCTION
高光谱成像(Hyperspectral Imaging or Imaging Spectroscopy)研究电磁光谱信息的收集(the collection of electromagnetic spectral information)。高光谱成像系统致力于获得图像场景像素反射或散射的放射光谱,通过获得电磁光谱的多个谱段来成像,区别于人眼视觉系统通过获得红绿蓝可见光来成像。
简而言之,高光谱成像是在多个连续光谱上同时获得空间域图像的过程,这些图像可被堆叠成三维结构,称为高光谱图像数据立方体(hyperspectral image datacube)。
论据:
(1)高光谱图像中的每个像素覆盖一个区域,该区域内包含一些不同的物质。因此,每个像素的光谱可以看成其覆盖区域内物质的光谱特征的混合。当存在于某个场景中的一系列光谱特征可用,这些像素的光谱数据可以利用这些特征来编码得到。这样的话,可以有效减少冗余;
(2)自然图像在任意谱段通常包含显著性特征和细节,其与所有像素的辐射强度的原始数据相比要少得多。这点在高分辨率图像上更加明显。
结论:
(1)大多数自然图像在合适的变换域上高度可压缩,例如离散余弦变换域或离散小波变换域;
(2)空间域和谱间域上的信息特征不相同,因此当收集测量值时可以分别处理。
压缩高光谱成像技术(compressive hyperspectral imaging techniques)致力于减少获取时间和传感复杂度(the acquisition time and sensing complexity),该技术依赖于高光谱图像数据在一些变换域上是稀疏或可压缩的。
目前,通常利用基追踪去噪技术(basis-pursuit denoising,BPDN)进行高光谱图像重建,一般通过最小化复合代价函数(包含一个平方误差项和一个正则项,正则项是一个应用到整个数据立方体的三维的稀疏变换矩阵系数的L1范数)。而本文我们提出的是包含两个可分离的正则项(空间域和谱域)的混合正则结构,可以利用特性:空间域上突然变化的缺乏和谱域上合适的变换系数的稀疏性(压缩性)。
II. DATA MODEL
将高光谱图像的数据立方体数字化为三维的张量:
其中,
:图像的垂直分辨率(the vertical resolution)和水平分辨率(the horizontal resolution)
:光谱分辨率(the spectral resolution),即每个像素的谱带数用一个二维矩阵
表示第k
个谱带的图像结构定义像素个数
从而形成矩阵
定义空间域和谱域的投影矩阵:
其中,
是空间域和谱域的投影数。
因此,压缩的和含噪的测量值
为:
其中,
是背景噪声/误差矩阵,服从独立正态分布,零均值,方差
。(1)式可以写为:
其中,
为克罗内克积(the Kronecker product)。
注:克罗内克积(the Kronecker product)
III.BASIS PURSUIT DENOISING
高光谱图像的稀疏表达基为:
其中,
是一个二维的离散小波变换基矩阵(discrete wavelet
transform (DWT) basis matrix),
。
是一维DWT基矩阵。
是一个正交基矩阵。
根据以上先验知识,X的估计可以通过解下面的凸优化问题得到:
或等价为:
其中,
返回矩阵中所有元素绝对值的和; 式(2)中的第一项是数据保真项,第二项是稀疏正则项。
正则参数。
the proximalgradient algorithm 是解决式(2)有效方法:
其中
考虑到
的正交性,式(3)可写为:
解决式(2)的accelerated proximal-gradient BPDN (APG-BPDN) 加速近端梯度基追踪去噪算法:
IV. PROPOSED ALGORITHM
先验知识:
自然图像一般包含大部分的分片光滑区域,仅在区域边界处不连续,因此自然图像的全变差远小于它的扭曲图像和含噪图像。与最小化图像小波系数的L1范数相比,最小化全变差可得到更好的复原效果。
因此,加入全变分正则项(total-variation),高光谱图像X可以通过解决下面的凸优化问题得到:
其中,第一个正则项
为高光谱数据立方体中全变分的总和; 第二个正则项
为所有系数变换系数的L1范数的总和;
为正则参数;
函数
返回图像结构
的各相同性全变分(the isotropic totalvariation),其定义为:
注:
将式(8)中的代价函数表示为
并将其分为:
我们采用近端次梯度算法解决式(8),该算法利用
的次梯度和
的近端算子。该算法的迭代等式为:
其中,
函数
返回第k个图像结构总变分的次梯度,即
。我们计算
的第(i,j)个元素为:
式(10)可以被改写为:
解决式(8)的accelerated proximal-gradient BPDN (APG-BPDN) 加速近端梯度基追踪去噪算法:
A. Non-Orthonormal Spectral Representation Matrix
我们先前假设
是一个标准正交基矩阵,但是,若
不是正交的,即它是一个学习的字典,则式(8)可以写为:
相关迭代等式可写为:
其中,
是一个辅助矩阵变量,从(13)-(15)中消去
:
因此,当
是非正交的,式(9)左边左乘
,式(11)左乘
而不是
。
V. CONVERGENCE ANALYSIS
略
VI. SIMULATION RESULTS
6张高光谱图像:
Stanford Dish
San Francisco
Harvard Outdoor
Harvard Indoor
Indian Pines
Washington DC Mall
我们重新调整它们的尺寸,调整后的空间和谱间分辨率等参数如下表:
因为自然图像的大部分能量集中在二维Fourier or Walsh光谱的低频部分,所以在空间域上我们使用一个包含两部分的多元矩阵。
其中,第一部分
,是从二维Walsh-Hadamard transform (WHT) 提取
个左上方系数,并且系数是按照类似于JPEG图像压缩的之字形扫描模式(the zig-zagging pattern used by the JPEG still-image data compression standard)来选取的;第二部分
,是从a Rademacher (symmetric Bernoulli)
distribution 随机选取
个投影。
因此,得到:
其中,
是the sequencyordered WHT basis matrices of order Nv and Nh, respectively。
返回一个列向量,其包含A的左上B个系数,系数以与the zig-zagging pattern类似的顺序选择。
与之类似,在光谱域中,我们也使用一个多元矩阵:
其中,
是取自the sequency-ordered Hadamard matrix of order Ns 的前
行;
包含Rademacher distribution的随机取值。
因此,如果我们表示X:
其中,
对应于第l个像素的光谱。
则:
我们使用二维Haar wavelet basis matrix作为空间域的稀疏表达基
(在APG-BPDN 算法中)。为获得好的谱域表达基
,随机选取一部分像素,即
,然后定义它的光谱矩阵
,对其进行奇异值分解
,令
。
、
Abstract
自然图像大多数包含光滑区域,且其中的一些像素具有光谱高度相关性。该信息可以用来从压缩或含噪的图像中恢复高光谱图像。
本文工作:
(1)构造复合代价函数:平方误差数据拟合项+两个正则项(空间域和谱域);
(2)使用an accelerated proximal-subgradient method 最小化代价函数,优于an accelerated proximal-gradient algorithm that solves the classical basis-pursuit denoising problem。
I. INTRODUCTION
高光谱成像(Hyperspectral Imaging or Imaging Spectroscopy)研究电磁光谱信息的收集(the collection of electromagnetic spectral information)。高光谱成像系统致力于获得图像场景像素反射或散射的放射光谱,通过获得电磁光谱的多个谱段来成像,区别于人眼视觉系统通过获得红绿蓝可见光来成像。
简而言之,高光谱成像是在多个连续光谱上同时获得空间域图像的过程,这些图像可被堆叠成三维结构,称为高光谱图像数据立方体(hyperspectral image datacube)。
论据:
(1)高光谱图像中的每个像素覆盖一个区域,该区域内包含一些不同的物质。因此,每个像素的光谱可以看成其覆盖区域内物质的光谱特征的混合。当存在于某个场景中的一系列光谱特征可用,这些像素的光谱数据可以利用这些特征来编码得到。这样的话,可以有效减少冗余;
(2)自然图像在任意谱段通常包含显著性特征和细节,其与所有像素的辐射强度的原始数据相比要少得多。这点在高分辨率图像上更加明显。
结论:
(1)大多数自然图像在合适的变换域上高度可压缩,例如离散余弦变换域或离散小波变换域;
(2)空间域和谱间域上的信息特征不相同,因此当收集测量值时可以分别处理。
压缩高光谱成像技术(compressive hyperspectral imaging techniques)致力于减少获取时间和传感复杂度(the acquisition time and sensing complexity),该技术依赖于高光谱图像数据在一些变换域上是稀疏或可压缩的。
目前,通常利用基追踪去噪技术(basis-pursuit denoising,BPDN)进行高光谱图像重建,一般通过最小化复合代价函数(包含一个平方误差项和一个正则项,正则项是一个应用到整个数据立方体的三维的稀疏变换矩阵系数的L1范数)。而本文我们提出的是包含两个可分离的正则项(空间域和谱域)的混合正则结构,可以利用特性:空间域上突然变化的缺乏和谱域上合适的变换系数的稀疏性(压缩性)。
II. DATA MODEL
将高光谱图像的数据立方体数字化为三维的张量:
其中,
:图像的垂直分辨率(the vertical resolution)和水平分辨率(the horizontal resolution)
:光谱分辨率(the spectral resolution),即每个像素的谱带数用一个二维矩阵
表示第k
个谱带的图像结构定义像素个数
从而形成矩阵
定义空间域和谱域的投影矩阵:
其中,
是空间域和谱域的投影数。
因此,压缩的和含噪的测量值
为:
其中,
是背景噪声/误差矩阵,服从独立正态分布,零均值,方差
。(1)式可以写为:
其中,
为克罗内克积(the Kronecker product)。
注:克罗内克积(the Kronecker product)
III.BASIS PURSUIT DENOISING
高光谱图像的稀疏表达基为:
其中,
是一个二维的离散小波变换基矩阵(discrete wavelet
transform (DWT) basis matrix),
。
是一维DWT基矩阵。
是一个正交基矩阵。
根据以上先验知识,X的估计可以通过解下面的凸优化问题得到:
或等价为:
其中,
返回矩阵中所有元素绝对值的和; 式(2)中的第一项是数据保真项,第二项是稀疏正则项。
正则参数。
the proximalgradient algorithm 是解决式(2)有效方法:
其中
考虑到
的正交性,式(3)可写为:
解决式(2)的accelerated proximal-gradient BPDN (APG-BPDN) 加速近端梯度基追踪去噪算法:
IV. PROPOSED ALGORITHM
先验知识:
自然图像一般包含大部分的分片光滑区域,仅在区域边界处不连续,因此自然图像的全变差远小于它的扭曲图像和含噪图像。与最小化图像小波系数的L1范数相比,最小化全变差可得到更好的复原效果。
因此,加入全变分正则项(total-variation),高光谱图像X可以通过解决下面的凸优化问题得到:
其中,第一个正则项
为高光谱数据立方体中全变分的总和; 第二个正则项
为所有系数变换系数的L1范数的总和;
为正则参数;
函数
返回图像结构
的各相同性全变分(the isotropic totalvariation),其定义为:
注:
将式(8)中的代价函数表示为
并将其分为:
我们采用近端次梯度算法解决式(8),该算法利用
的次梯度和
的近端算子。该算法的迭代等式为:
其中,
函数
返回第k个图像结构总变分的次梯度,即
。我们计算
的第(i,j)个元素为:
式(10)可以被改写为:
解决式(8)的accelerated proximal-gradient BPDN (APG-BPDN) 加速近端梯度基追踪去噪算法:
A. Non-Orthonormal Spectral Representation Matrix
我们先前假设
是一个标准正交基矩阵,但是,若
不是正交的,即它是一个学习的字典,则式(8)可以写为:
相关迭代等式可写为:
其中,
是一个辅助矩阵变量,从(13)-(15)中消去
:
因此,当
是非正交的,式(9)左边左乘
,式(11)左乘
而不是
。
V. CONVERGENCE ANALYSIS
略
VI. SIMULATION RESULTS
6张高光谱图像:
Stanford Dish
San Francisco
Harvard Outdoor
Harvard Indoor
Indian Pines
Washington DC Mall
我们重新调整它们的尺寸,调整后的空间和谱间分辨率等参数如下表:
因为自然图像的大部分能量集中在二维Fourier or Walsh光谱的低频部分,所以在空间域上我们使用一个包含两部分的多元矩阵。
其中,第一部分
,是从二维Walsh-Hadamard transform (WHT) 提取
个左上方系数,并且系数是按照类似于JPEG图像压缩的之字形扫描模式(the zig-zagging pattern used by the JPEG still-image data compression standard)来选取的;第二部分
,是从a Rademacher (symmetric Bernoulli)
distribution 随机选取
个投影。
因此,得到:
其中,
是the sequencyordered WHT basis matrices of order Nv and Nh, respectively。
返回一个列向量,其包含A的左上B个系数,系数以与the zig-zagging pattern类似的顺序选择。
与之类似,在光谱域中,我们也使用一个多元矩阵:
其中,
是取自the sequency-ordered Hadamard matrix of order Ns 的前
行;
包含Rademacher distribution的随机取值。
因此,如果我们表示X:
其中,
对应于第l个像素的光谱。
则:
我们使用二维Haar wavelet basis matrix作为空间域的稀疏表达基
(在APG-BPDN 算法中)。为获得好的谱域表达基
,随机选取一部分像素,即
,然后定义它的光谱矩阵
,对其进行奇异值分解
,令
。
、
相关文章推荐
- Hyperspectral Image Super-Resolution via Non-Negative Structured Sparse Representation论文阅读笔记(PART)
- 论文笔记:Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
- 【论文阅读笔记】MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
- 论文阅读笔记 | (ICCV 2017) Multi-Attention CNN for Fine-Grained Image Recognition:MA-CNN
- ICCV2017论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” 阅读笔记
- 论文阅读笔记 Picking Deep Filter Responses for Fine-grained Image Recognition
- 论文阅读笔记-Automatic Portrait Segmentation for Image Stylization
- 正则化技术(分类识别):PatchShuffle Regularization 论文阅读笔记
- 论文笔记:Single-Image Crowd Counting via Multi-Column Convolutional Neural Network
- Attention to Scale: Scale-Aware Semantic Image Segmentation论文阅读笔记
- 论文阅读笔记 | (ECCV 2018 Oral) Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition
- Deep Residual Learning for Image Recognition--ResNet论文阅读笔记
- 论文阅读理解 - Learning Spatial Regularization for Multi-label Image Classification
- Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
- [论文阅读笔记]U-Net: Convolutional Networks for Biomedical Image Segmentation
- Category-Specific Object Image Denoising论文阅读笔记
- 论文阅读笔记:U-Net: Convolutional Networks for Biomedical Image Segmentation
- 论文笔记之:Heterogeneous Image Features Integration via Multi-Modal Semi-Supervised Learning Model
- 论文阅读(1)——ImageNet Classification with Deep Convolutional Neural Networks
- 论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation