稀疏表示学习之路之基本概述

        信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而使我们更容易地获取信号中所蕴含的信息，更方便进一步对信号进行加工处理，如压缩、编码等。

       信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典、和稀疏表示的应用等方面。

       稀疏表示可以根据信号的自身特点自适应的选择合适的超完备字典。对信号稀疏表示的目的就是寻找一个自适应字典使得信号的表达最稀疏。

       稀疏分解算法首先是由Mallat提出的，也就是众所周知的匹配追踪算法（Matching Pursuit,MP）算法，该算法是一个迭代算法，简单且易于实现，因此得到了广泛的应用。

      信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解，对于字典的选择，一般有分析字典和学习字典两大类。

Sparse Modeling of Signal

一张 8×8 的图片，可以表示成 64 维的向量 x ，如何进行稀疏表示？下图中假设 N = 64：

左边矩阵 D 是字典矩阵，由 K 个 N 维的列向量组成。 根据 K 与 N 的关系，又可以划分为：

1. K > N: over-complete, 这种情况在稀疏表示里面最常见

2. K = N: complete, 例如傅里叶变换和 DCT 变换都是这种情况

3. K < N: under-complete

中间列向量 alpha 是一个稀疏向量，特点是非零项很少，图中只有三个非零项，代表 D 矩阵对应行向量的线性组合。

最后 x 向量表示恢复后的向量。

atoms 表示 D 的列向量