Justin Romberg 压缩感知：利用凸优化实现稀疏信号重建的科普

  Justin Romberg  压缩感知：利用凸优化实现稀疏信号的重建的科普

 

1.利用凸优化算法解决压缩感知问题时，问题通常被分为2类，一类是转化为线性方程组的问题（LPs问题），另一类是转化为二次凸规划的问题（SOCPs问题），其中LPs问题采用路径追踪原始对偶（primal-dual）算法，SOCPs问题采用内点算法中的对数障碍（log-barrier）法

 

带等式约束的最小化l1范数问题描述如下：

                    


 

A为M*N的欠定矩阵，x是要采样的信号，b是采样值，大意就是，在方程组条件不足的情况下求解出原始信号x，当x的1范数最小的时候，x差不多就是我们想要的结果了。

L1范数的数学表述形式如下：（本质上来说，就是把矩阵里面的数值求取绝对值然后加起来）

  


由这个问题引出了著名的基追踪算法（BP算法），算法的原理就是不断寻找l1范数最小的x来解释我们采样到的信号b，如果我们找到了一种足够稀疏的信号（l1范数足够小的信号）

那么我们就认为我们的方程组找到了最合适的解。

 

2.我们经常能够看到最小化l1范数的误差估计问题，误差估计数学问题描述为如下的问题

 

                            


A是M*N的满秩矩阵，y是得到的采样值，假设，我们通过信道采样y的时候难免信号会有丢失或者噪声，也就是说我们的得到的y本质上是y=y+e,这里的e就是噪声信号。，同样这个噪声估计的问题也是一个LP问题

 

3.带有二次约束问题的最小化l1范数问题:

这个问题我们用数学公式表达出来是这样的：

                   


在1问题的基础上我们把原来的等式转为二次约束模型。在这里ε表示一个确定的参数，把原来1问题中的带有等式约束的模型，通过引入松弛变量的方式转为了二次凸规划（SOCP）的问题。这个数学公式的意思是，寻找出一个足够稀疏的信号x满足,在这里e代表一个很小的误差变量

4.有界冗余相关的l1范数最小化：

这种算法也叫Dantzig算法

数学问题描述如下：

 


我们重新描述了上面的问题，转为上面的公式这里的伽马是一个具体的参数，在1问题里面我们重新引入一种松弛变量，这个数学问题的意思是，找到一种尽可能稀疏的x使得，Ax-b的剩余项与A*的任何一列最大程度的不相关A*(Ax-b).

所以问题4中的数学模型是一种LP问题

5.在图像上面引入TV模型，重写上面的公式的表述形式

如果我们要把压缩感知的模型应用在图像上，因为图像的梯度是稀疏的，这里我们用梯度来描述整个图像

定义梯度的操作算子：

 


分别定义了水平方向和竖直方向的梯度算子这里描述为h和v方向上的梯度

因为整个图像每个点都是梯度的，这里我们把梯度全部加起来（也就全变分）

 


这就是传说中的（全变分）TV模型，（全变分）TV模型国内研究的人也很多，常用来做去噪和复原的算法，相关论文有很多。

有了上面的定义，我们把上面的数学模型应用在图像复原，上面的每一个数学模型都可以写成SOCP（二次规划）问题

 

A.带有等式约束的最小化TV模型

                


B.带有二次规划的最小化TV模型

                


C.Dantzig TV模型



下一章我将会介绍内点算法。