压缩感知理论模型

本文依据压缩感知群中Ammy讲解整理所得

最初的压缩感知是由Candès、Donoho他们提出来的问题。最初压缩感知那几篇文章里的模型 :y=Φ∗x(模型一)y=\Phi*x\qquad(模型一)都是从纯数学角度来考虑的，问题也是针对稀疏信号x研究的。研究的是：什么样的Φ\Phi，以怎样的方式，能够从yy中恢复xx。

在后续的研究过程中发现很多信号x压根不稀疏，自然也就不满足模型一的要求了。经过研究发现，虽然信号x不稀疏但是可以通过某种正交变换使信号变的稀疏。这也就产生了第二种稀疏模型：

y=Φ∗ΨT∗x(模型二)y=\Phi*\Psi^T*x\qquad(模型二)

θ=ΨT∗x\theta=\Psi^T*x :现将信号xx进行某种正交变换，得到稀疏信号θ\theta。其中θ\theta是稀疏的，ΨT\Psi^T是Ψ\Psi的转置，也就是Ψ\Psi的逆Ψ′Ψ'。

y=Φ∗θy=\Phi*\theta：通过变换后的信号θ\theta满足了模型一的条件。

y=Φ∗ΨT∗xy=\Phi*\Psi^T*x：将θ\theta代入到模型一也就得到了模型二了。

这种稀疏变换的模型，叫做 analysismodelanalysis\quad model，将xx利用ΨT\Psi^T分解成θ\theta。例如，小波分解；例如，傅里叶分解。

随着稀疏表示模型的发展，人们发现不仅仅能够通过变换得到稀疏的信号还可以通过一个字典得到稀疏信号x=D∗θx=D*\theta（θ\theta是稀疏的，而DD非正交）。Candès在09年的一篇文章中给出了压缩感知在过完备字典下的表示：

y=Φ∗x=Φ∗D∗θ（模型三）//注意与模型二的区别y=Φ*x=Φ*D*\theta\qquad（模型三）\quad // 注意与模型二的区别

这种模型叫做 synthesismodelsynthesis\quad model，xx是由DD和θ\theta合成出来的。

模型二与模型三的区别：

在模型二中，由于ΨT∗x\Psi^T*x是稀疏的，所以要求Φ\Phi要满足k−RIPk-RIP性质即可。只需要考虑Φ\Phi的RIPRIP，人们只需要找到一个满足的矩阵，就可以到处使用了。

在模型三中，由于θ\theta是稀疏的，所以应该是要求Φ∗D\Phi*D要满足RIPRIP。而DD是随着问题不断变换的，找个全局的比较困难。为此提出了另外一个条件：CoherenceCoherence，说的通俗一点就是：当Φ\Phi和DD极度不相干时，Φ∗D\Phi*D能够满足RIPRIP，所以将Φ∗D\Phi*D的RIPRIP转换为，寻找一个Φ\Phi与DD不相关。

在实际使用的过程中人们发现高斯随机矩阵满足第2个模型，高斯矩阵是因为满足RIPRIP。后面又发现高斯矩阵与大部分DD相关性很小，所以又被拿来当做Φ\Phi。形式上都是高斯，所以看起来“似乎一样”，但实际上还是有本质区别的，这时给初学者有很大的障碍去理解的。