正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

题目：正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

        如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑：在稀疏分解中有一个OMP算法，在压缩感知的重构算法中也有一个OMP算法，它们有什么区别和联系呢？

        其实它们都是一样子的！

        从数学模型来入手分析这个问题：

        1）稀疏分解要解决的问题是在冗余字典A中选出k列，用这k列的线性组合近似表达待稀疏分解信号y，可以用表示为y=Aθ，求θ。

        2）压缩感知重构要解决的问题是事先存在一个θ和矩阵A，然后得到y=Aθ（压缩观测），现在是在已知y和A的情况下要重构θ。

        看到了没？实际上它们要解决的问题都是对已知y和A的情况下求y=Aθ中的θ。

        上面各式中，A为M×N矩阵（M>>N，稀疏分解中为冗余字典，压缩感知中为传感矩阵A=ΦΨ，即测量矩阵Φ乘以稀疏矩阵Ψ），y为M×1的列向量（稀疏分解中为待稀疏分解信号，压缩感知中为观测向量），θ为N×1的列向量（稀疏分解中为待求分解系数，压缩感知中为信号x的在变换域Ψ的系数，x=Ψθ）。

        所不同的是，在稀疏分解中θ是事先不存在的，我们要去求一个θ用Aθ近似表示y，求出的θ并不能说对与错；在压缩感知中，θ是事先存在的，只是现在不知道，我们要通过某种方法如OMP去把θ求出来，求出的θ应该等于原先的θ的，然后可求原信号x=Ψθ。

        将以上关系清晰表述如下：

其中：        

        和        

        稀疏分解是选择冗余字典A中尽量少的列向量（原子），使其线性组合等于或近似等于y，例如共选择了A中的k列：a_t1, a_t2, a_t3,…, a_tk ，对应的线性组合系数为θ_t1,θ_t2,θ_t3,…,θ_tk，记A_t= [ a_t1, a_t2, a_t3,…, a_tk]，θ_t= [θ_t1,θ_t2,θ_t3,…,θ_tk]^T，T表示转置。则

注意：下标t1,t2,…,tk并不是从小到大排列，而是代表了OMP算法所选择原子的次序。

        现在有一个关键问题是θ_t1,θ_t2,θ_t3,…,θ_tk的值分别是多少？这是我们最终所求的解……

        我们的问题实际上是从y=A_tθ_t中已知y和A_t求θ_t（y为M×1的列向量，A_t为M×k的矩阵，θ_t为k×1的列向量），则最小二乘解为

这个时候的残差为

这里的问题实际上是正交投影的概念，可以参见《压缩感知中的数学知识：投影矩阵（projectionmatrix）》。

        对于压缩感知重构过程也是一样，只是求得的θ_t的最小二乘解应该为原信号x的稀疏分解系数，那么问题就来了：你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢？为什么通过OMP迭代后一定会选出矩阵A的那几列呢？会不会选择A的另外几列，它们的线性组合也满足y=Aθ？这个问题我们下篇《为什么正交匹配追踪(OMP)一定能恢复信号？》再说。

        其实MP也好，改进后的OMP也罢，最初提出都是面向稀疏分解的，当时还没有压缩感知的概念，只是后来压缩感知提出后将其引入到了压缩感知重构中，因为前面也说了，其实他们的本质是一样子的，都是已知y和A的情况下求y=Aθ中的θ。

        MP和OMP最初提出的文献一般分别引用以下两篇：

【1】S Mallat, Z Zhang.Matching pursuit with time-frequency dictionaries[J]. IEEE Transactions onSignal Processing, 1993, 41(12): 3397-3415.

【2】Y.C.Pati, R.Rezaiifar,and P.S.Krishnaprasad. Orthogonal Matching Pursuit-Recursive FunctionApproximation with Applications to wavelet decomposition, Proc. 27^thAnnu. Asilomar Conf. Signals, Systems, and Computers, Pacific Grove, CA, Nov.1993,vol.1,pp40-44.

        将OMP明确用于重构的文献一般引用：

【3】Joel A. Tropp and Anna C. Gilbert. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEETransactions on Information Theory, VOL. 53, NO. 12, DECEMBER 2007.

        正是由于稀疏分解与压缩感知这种密切关系，所以很多研究压缩感知的人实际上都是做稀疏分解出身的，有些稀疏表示课题则是顺带刷几篇压缩感知的论文，作为课题组研究方向的一个延伸。