压缩感知整理学习

本文仅是博主对资料的整理学习，会附上相关原文地址，如有兴趣请阅读原文。

原文地址
初识压缩感知Compressive Sensing：
http://blog.csdn.net/abcjennifer/article/details/7721834/
压缩感知学习系列：
http://blog.csdn.net/zouxy09/article/details/8118329

compressive sensing（CS） 又称 compressived sensing ，compressived sample，大意是在采集信号的时候（模拟到数字），同时完成对信号压缩之意。

经典的奈奎斯特采样定理要求：进行模拟数字转换时，采样频率要大于信号中最高频率的2倍，采样之后的数字信号完整地保留了原始信号中的信息。

压缩感知讲的是：如果信号在某一个正交空间具有稀疏性（即可压缩性），就能以较低的频率（远低于奈奎斯特采样频率）采样该信号，并能以高概率精确地重建该信号。
具体来讲是：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。

理论内容：
（1）设长度为N的信号X在某个正交基ψ上是K-稀疏的（即含有k个非零值）
（2）如果能找到一个与ψ不相关（不相干）的观测基φ
（3）用观测基φ观测信号得到长度为M的一维测量值M个观测值Y，K小于M远远小于N
（4）那么就可以利用最优化方法从观测值Y中高概率恢复X

此时我们需要两个基本准则：稀疏性和非相关性，或者稀疏性和等距约束性。

数学表达：
设x为长度N的一维信号，稀疏度为k（即含有k个非零值），A为MxN的二维矩阵（M小于N），y=φx为长度M的一维观测值。压缩感知问题就是已知观测值y和测量矩阵φ的基础上，求解欠定方程组y=φx得到原信号x。φ的每一行可以看作是一个传感器（Sensor），它与信号相乘，拾取了信号的一部分信息。而这一部分信息足以代表原信号，并能找到一个算法来高概率恢复原信号。

一般的自然信号X本身并不是稀疏的，需要在某种稀疏基上进行稀疏表示，x=Ψs，Ψ为稀疏基矩阵，s为稀疏系数（s只有K个是非零值（K远远小于N）。

压缩感知方程为y=Φx=ΦΨs=Θs。
将原来的测量矩阵Φ变换为Θ=ΦΨ（称之为传感矩阵），解出s的逼近值s’，则原信号x’= Ψs’。

1、信号的稀疏表示

自然界存在的真实信号一般不是绝对稀疏的，而是在某个变换域下近似稀疏，即为可压缩信号。或者说从理论上讲任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可以有效地进行压缩采样。信号的稀疏性或可压缩性是压缩感知的重要前提和理论基础。
稀疏表示的意义：只有信号是K稀疏的（且K小于M远远小于N），才有可能在观测M个观测值时，从K个较大的系数重建原始长度为N的信号。也就是当信号有稀疏展开时，可以丢掉小系数而不会失真。
我们知道，长度为N的信号X可以用一组基ΨT=[Ψ1,…, ΨM]的线性组合来表示：

x=Ψs，Ψ为稀疏基NxN矩阵，s为稀疏系数（N维向量），当信号X在某个基Ψ上仅有 K<

2、信号的观测矩阵

观测矩阵（也称为测量矩阵）MxN（M远远小于N）是用来对N维的原信号进行观测得到M维的观测向量，然后利用最优化方法从观测值Y中高概率重构X。
观测矩阵的设计目的是如何采样得到M个观测值，从而将该稀疏信号压缩成少量的数据，并保证能重构出长度为N的信号x。
如果观测过程破坏了X中的信息，重构是不可能的。为了保证能够准确重构，观测基矩阵与稀疏基矩阵的乘积要满足RIP性质，即要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。
对
观测矩阵的约束是比较宽松的，Donoho在文献[23]中给出了观测矩阵所必需具备的三个条件，并指出大部分一致分布的随机矩阵都具备这三个条件，均可作为观测矩阵，如：部分Fourier集、部分Hadamard集、一致分布的随机投影（uniform Random Projection）集等，这与对RIP条件进行研究得出的结论相一致。但是，使用上述各种观测矩阵进行观测后，都仅仅能保证以很高的概率去恢复信号，而不能保证百分之百地精确重构信号。

将信号投影到一组测量矩阵Φ（与变换矩阵不相关的MxN，M远远小于N）上而得到测量值y。 这样使测量对象从N维降为M维。
由于信号x是是可稀疏表示的: x=Ψs，上式可以表示为下式：y=Φx=ΦΨs=Θs

其中Φ是一个MxN矩阵。上式中，方程的个数远小于未知数的个数，方程无确定解，无法重构信号。但是，由于信号是K稀疏，若 上式中的Φ满足有限等距性质，则K个稀疏就能够从M个测量值准确重构（得到一个最优解）。RIP性质的等价条件是测量矩阵Φ和稀疏基Ψ不相关。

稀疏信号的重构

目前为止出现的重构算法都可归入以下三大类：
（1）贪婪追踪算法：这类方法是通过每次迭代时选择一个局部最优解来逐步逼近原始信号。这些算法包括MP算法，OMP算法，分段OMP算法（StOMP）和正则化OMP（ROMP）算法。
（2）凸松弛法：这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，
如BP算法，内点法，梯度投影方法和迭代阈值法。
（3）组合算法：这类方法要求信号的采样支持通过分组测试快速重建，如傅
立叶采样，链式追踪和HHS追踪等。
总之，每种算法都有其固有的缺点。凸松弛法重构信号所需的观测次数最少，
但往往计算负担很重。贪婪追踪算法在运行时间和采样效率上都位于另两种算法
之间。
由上面的分析可知，重构算法和所需的观测次数密切相关，当前，压缩感知
理论的信号重构问题的研究主要集中在如何构造稳定的、计算复杂度较低的、对
观测数量要求较少的重构算法来精确地恢复原信号。

应用

1、压缩成像
美国RICE大学已经成功研制了“单像素”压缩数码照相机，设计的原理是首先通过光路系统将成像目标投影到一个数字微镜器件上，然后其反射光由透镜聚焦到单个光敏二极管上，光敏二极管两端的电压值即为一个测量值y，将此投影操作重复M次，得到测量向量y，然后用最小全变分算法构建的数字信号处理器重构原始图像f。数字微镜器件由数字电压信号控制微镜片的机械运动以实现对入射光线的调整，相当于随机观测矩阵Φ。由于该相机直接获取的是M次随机线性测量值，而不是获取原始信号的N (M << N)个像素值，为低像素相机拍摄高质量的图像提供了可能。
2模拟信息转换
带宽非常高的信号，根据奈奎斯特定理，模数转换器必须具有很高的采样频率。基于压缩感知理论的模拟/信息转换器，利用压缩感知理论中测量信息可以得到完整信号的原理。首先获得原始信号的线性测量，再利用后端数字信号处理器重构原始信号或者直接计算原始信号的统计数据等信息。