稀疏表示学习_初识

1.稀疏表示背景
1993年，Stephane Mallat和Zhifeng Zhang提出了字典的概念，改进了传统的、缺乏灵活性的小波变换(wavelet transform)的概念，同时贪婪追踪(greedy pursuit)技术被引入到字典构建中来。1995年，统计学的大牛Scott Shaobing、David Donoho和Michael Saunders提出了另外一种追踪技术，其中使用到了L1范数，将字典学习任务转化成了凸规划(convex programming)。2001年，Donoho和Huo提出了在稀疏表达任务中至关重要的一个问题：如何保证追踪技术的成功？在什么条件下？并提出了一些具有启发性的见解。之后的一段时间里，稀疏表达思想如雨后春笋，迅速扩散到涉及到数据处理的各个领域，其中workshops, sessions, conferences, papers等起到了至关重要的作用。由于此领域处在信号处理(signal processing)和应用数学(applied mathematics)的交叉地带，活跃在此领域的是对近似理论(approximation theory)情有独钟的数学家们。2006年，Emmanuel Candes、Justin Romberg、Terence Tao和David Donoho等提出和完善了压缩感知(compressed sensing)的概念，作为稀疏表达的一个分支，压缩感知向传统的奈奎斯特-香农(Nyquist-Shannon)抽样定理发起了挑战，其可以极大地降低抽样频率。

近十几年来，稀疏表示（Sparse Represent）已经成为信号处理及其应用领域中处于第一位的概念之一。近来，研究人员又致力于过完备（overcomplete）信号表示的研究。不同于许多传统的表示方法，它能提供一个广阔范围的生成元素（atoms）。而冗余（redundant）信号表示的魅力正在于其能经济地（紧致）的表示一大类信号。对稀疏性的兴趣源自于新的抽样理论-压缩传感（compressed sensing）的发展，压缩传感是香农采样理论的一种替代，其利用信号本身是稀疏的这一先验，而香农理论是设计用于频率带宽有限的信号的。通过建立采样和稀疏的直接联系，压缩传感在大量的科学领域，如编码和信息论，信号和图像采集处理，医学成像，及地理和航天数据分析等都得到应用。压缩传感的另一贡献是许多传统的逆问题，如断层图像重建，可以看作压缩传感问题。这类病态（ill-posed）问题需要正则化。压缩传感对寻求系数性解的方法给出了强大的理论支持。

2.稀疏表示定义
稀疏理论大致包含两部分的内容，即稀疏编码和字典学习。在稀疏编码方面，要求在一定的约束条件下，将待处理信号投影至某一稀疏域，并得到对应的稀疏系数。从数学理论分析，稀疏编码可划分为在稀疏域上的0范数最优化问题，以求得一欠定线性方程的稀疏解。但是由于0范数优化是一个NP-hard问题，所以常将该优化问题转换至1范数条件下解决。较为经典的稀疏系数求解算法有基追踪（BP）、正交匹配追踪(OMP)、迭代软/硬门限算法等。在字典学习方面，则注重获取最优稀疏域。其目的在于，通过在训练学习获得的稀疏空间上，实现稀疏系数0范数的最小化，从而用最少的稀疏系数进行信号特征的最大表示。因此字典学习是一个自适应基学习信号结构的过程。其经典算法有最优方向、K-SVD、递归最小二乘、同步码优化算法等。

2.1稀疏编码
稀疏编码是稀疏表示的一个重要阶段，其主要思想是将输入的样本集分解为多个基元的线性组合，并将该基元前面的系数作为输入样本的特征。稀疏编码根据不同的原则可以分为不同的类型，例如根据原子的不同，可以将稀疏编码分为两类：基于样本的稀疏表示和基于字典学习的稀疏表示；根据可利用的基原子的标签的不同，将稀疏编码分为：监督学习、半监督学习和非监督学习三类；由于稀疏约束的不同。又可以将稀疏分为基于结构约束的稀疏表示和基于稀疏度约束的稀疏表示；通过分析解决和优化方法的不同，将稀疏估计分为四类：（1）贪婪策略估计，主要任务是解决稀疏表示的 l0-范数优化问题，该类方法是通过在每一次迭代过程中寻找局部最优解。该算法主要有三个步骤（2）约束优化策略，其核心思想是用 l1-范数优化将不可微分的优化问题转换为一个可以微分的优化问题。（3）邻近算法，主要目标是将原始问题重新表示为一个特定相关的邻近算子的模型解决优化问题。（4）同伦算法，在稀疏表示中被用来与 -稀疏度共同解决 范数最小化问题。
在稀疏编码中，主要是利用贪婪策略估计和约束项优化进行估计。例如Needell[47]等人提出利用约束等距性作为度量（Restricted Isometry Property）恢复所有稀疏信号的优化OMP算法; Do等人根据利用EM算法进行稀疏度和支持集合的估计得到自适应稀疏度的OMP算法。除了利用贪婪策略进行估计，约束项优化也有许多算法。例如：Figueiredo[49]等人利用梯度投影的方法解决稀疏重构问题。通过这些算法可以有效解决稀疏编码的优化问题。
2.2字典学习
在字典学习中，常用过完备字典作为稀疏表示中寻找特定基集合的转换函数。与变换域相比，字典学习能够根据多种信息进行自适应基学习，能够根据信息表示各种基。其中字典学习中，字典选择是重要的一步，不同的图像处理任务需要不同的字典。例如在图像分类中在稀疏表示中的字典需要包含判别信息。字典学习的目的是在一个确定的度量标准下找一个优化信号空间支持稀疏向量的分布。
字典学习有两种基本的模型分别是稀疏和平移不变的字典学习表示和基于字典的结构稀疏优化。例如分层稀疏字典学习、基于块或者群的稀疏字典学习。研究者还将字典学习分为四类：在线字典学习、联合字典学习、判断字典学习和监督字典学习。

3.图像稀疏表示模型
假设使用一个过完备字典矩阵 l1，其中每一列包含K 个信号原子，{dj}Kj=1 ，一个信号y∈n 可以表示为这些原子的稀疏线性表示。y 信号可以等价于y=Dx 或者近似为 y≈Dx，满足 ∥y−Dx∥p≤ε。向量 x∈K包含信号y的表示系数，在估计的方法中，通常使用范数进行度量，lp -范数通常设p=1,2...∞ 。
如果n<K ，则 D是满秩矩阵，对于表示问题会有无限中解决方法，所以引入约束条件。通过少量数目的非零系数可以进行确定的信号表示，所以稀疏表示可以描述为剩余误差约束：
（1）
或者 （2）
∥.∥0表示l0 范数，计算一个向量中非零值的个数。
由于 l0-范数的非凸性，对于（2）式的求解是一个数学上的NP-hard问题，在实际应用中并不适用。为了处理这个问题，提出了一些贪婪算法，用于解决稀疏估计。在实际应用中，由于字典符合一致非相关性，通常将 l0-范数问题转换为 l1-范数问题，由此可以根据贪婪算法逼近，解决在稀疏表示中不同形式的l1 -范数问题。例如，在稀疏估计中的匹配追踪算法，该算法是一种贪心算法（greedy），其核心思想是通过每次迭代选取与当前样本残差最逼近的原子，直至残差满足一定约束条件。具体过程为定义向量内积原子与残差的距离，通过不断更新逼近得到收敛值，最终实现优化求解。由于匹配追踪算法的次最优性来源其残差与当前投影方向垂直，这样会导致在接下来的更新投影中，很有可能会再次投影到原来的方向，导致求解效果变差。正交匹配追踪算法则通过在分解的每一步对所选择的全部原子进行正交化处理，加快了收敛速度。通过稀疏逼近可以解决稀疏表示中的 l0-范数问题。
经典的稀疏表示算法为：K-SVD
详情可看：http://blog.csdn.net/chengfanyong/article/details/40923905