Compressive Tracking之CompressiveSensing（压缩感知理论）

一、压缩感知理论概述

所谓压缩感知理论，就是说：只要信号是可压缩的或在某个变换域是稀疏的，或者满足等距约束性（RIP）,那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。

好处:相比于其他压缩方法，能够大大降低存储空间和计算复杂度。

二、压缩感知理论的历史

压缩感知理论依赖于L1技术，历史上L1技术已经用于其他科学领域。在统计学上，最小二乘法是由L1规则化补充的，L1规则化由拉普拉斯提出。在统计学理论中，L1规则化被George W.Brown和后来的中值无偏估计的作者使用。也被Peter J. Huber和鲁棒统计的作者使用。同时，也用于信号处理中，例如，在19世纪70年代，当地质学家在基于数据构造地球反射层的时候，似乎并没有满足奈奎斯特定理，它还被用于1993年的匹配追踪和1996年的LASSO估计器和1998的basis pursuit。有理论结果描述这些算法何时恢复稀疏，但是所需的类型和测量的数量是次优的，后来的压缩感知大大的改善了L1.

乍一看，压缩感测似乎违反了抽样定理，因为压缩感测取决于所讨论的信号的稀疏性，而不是其最高频率。这是一个误解，因为抽样定理在充分不必要的条件下保证完全重建。与传统固定速率采样基本不同的采样方法不能“违反”采样定理。与传统的固定速率采样相比，具有高频分量的稀疏信号可以使用压缩感测进行高度欠采样。

三、压缩感知的步骤

1、已知我们需要进行压缩的信号X，是一个长度为N的以为序列，并且存在一个正交基Ψ，x=Ψs，并且信号X是K-压缩的，即有K个非零信号。存在正交基使得信号在某个变换空间中是稀疏的，是压缩感知的前提。这里的K个非零量代表了信号X的绝大多数信息。

2、我们可以找到一个观测基Φ，并且这个观测基满足与正交基不相关，这个观测基是一个M×N的二维矩阵

3.我们根据Y=ΦX，可以得到信号Y，信号Y是一个长度为M的信号，这里K<M<<N，Y信号中包括了K个非零量，信号X中的信息大部分被保留了下来，这样就做到了对信号进行压缩降维。

4.Y=ΦX=ΦΨs=Θs，我们最后可以根据优化算法由s信号恢复到X信号。

注：

1.这里比较经典的稀疏算法（稀疏基）有：DCT,FFT,DWT

2.RIP作用

为了保证能够从观测值准确重构信号，其需要满足一定的限制：观测基矩阵与稀疏基矩阵的乘积满足RIP性质（有限等距性质）。这个性质保证了观测矩阵不会把两个不同的K稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），这就要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。RIP性质的等价条件是测量矩阵Φ和稀疏基Ψ不相关

3.X信号的恢复

解码的最直接方法是通过l0范数（0-范数，也就是向量y?中非零元素的个数）下求解的最优化问题。因为l0范数表示向量中所有非零元素的个数。由于难以求解，所以我们选择l1最小范数来解决最优化问题（l1范数最优化问题的解是稀疏性的，倾向于选择很少的非常大的值和很多的非常小的值）。L1范数最小化是通过用L1范数来近似0范数，取1而不取1/2,2/3或者其他值，是因为1范数最小化是凸优化问题，可以将求解过程转化成有一个线性规划问题。L1最小范数下最优化问题又称为基追踪(BP)，其常用实现算法有：内点法和梯度投影法。内点法速度慢，但得到的结果十分准确：而梯度投影法速度快，但没有内点法得到的结果准确 。

压缩感知的重构算法有两种：贪婪算法和凸优化算法