Hyperspectral Band Selection by Multitask Sparsity Puisuit

前言

个人认为这是一个非常好或者说是非常新鲜的工作，作者从生物免疫的角度解释了字典的学习过程。以下内容为我自己对本文的简单翻译、理解，仅代表我个人看法，有不准确之处可以发邮件至jzwangATbjtuDOTeduDOTcn讨论交流。

简介

近些年来，高光谱图像相关的研究得到了学术界和工业界的广泛关注。在合适的光谱分辨率下，较大波长范围内的高光谱图像或图像块能提供有用的信息，这使得高光谱图像应用广泛。比如说，其已经成功应用在环境检测、生物分析、医学图像、生产质量观测等领域。然而，包含在高光谱图像里的大量数据使得研究者们难以方便有效地进行信息存储、展示、传输和处理，而且，包含在高光谱图像中的大量冗余信息也产生一些不想要的统计和几何特性。这些缺陷产生的主要原因是高光谱图像通常表示为数百个光带，且相邻的光带间关联紧密。在一些情况下，增加光带的数量能增强表现，但这并不意味着所有的光带都是有用的。最关键的因素往往仅存在于几个光带中。出于这个原因，研究者们均希望提出一种特征提取技术，该技术能自动地选择决定性且物理意义明确的少量光带在不失有效性的情形下来表示整个高光谱图像。这种技术也被称为光带选择，该技术在高光谱遥感领域是一个研究热点。

本文主要关注高光谱图像处理中的分类和颜色可视化的问题，贡献主要有以下三个方面：

• 将代表性光带选择问题形式化为多任务稀疏学习问题，每个光带的学习过程被看作一个子任务。通过APG算法优化联合稀疏约束问题并取得二次收敛下的全局解。据我们所知，尚不存在其它工作利用多任务学习解决高光谱光带选择问题；
• 基于压缩感知涉及了有效且符合高光谱内在属性的描述子用来进行高光谱光带的表示。尽管光带的原始信息可直接用做描述子，但那样往往伴随着难以接受的计算负担。在本文中，借助压缩感知复原稀疏信号的功效我们定义了一种新型高光谱光带描述子；
• 基于免疫克隆策略对潜在的光带组合构建了一种有效的搜索策略。为了选择出最具有代表性的光带，一些传统的方法提出使用子集前向搜索的策略。这些策略需要预先选取一个或多个光带初始化，适合于不相关联的光带选择。然而，由于我们提出的框架基于多任务稀疏追踪，这类策略不适合我们的框架。幸运的是，我们发现了免疫克隆策略的强大全局搜索能力，能够在无数可能的光带组合中提供出理想的解。

提出的框架

在这一章详细介绍基于多任务稀疏追踪的无监督群组光带选择框架。整体流程如下图所示，其中，基于多任务稀疏追踪的评价标准是最为关键的部分，该标准用来评价可能的光带组合。此外，如前面所提到的，多任务学习过程中直接使用原始光带信息在计算量上是不可接受的。为此，我们基于随机投影设计了一种新型描述子，在多任务学习之前对光带进行有效的表示，以此探索压缩感知对稀疏信号的强大复原能力。然后，我们提出了一种进化策略，从无数的可能组合中搜索出理想的结果。下面我们将单独介绍每个部分。

压缩高光谱光带描述子

普通的终端处理器难以承受使用原始光带信息作为描述子群组式选择光带带来的计算负担。即使处理中型大小的图像该障碍仍然存在。因此，对于高光谱图像的处理来说，一种智能且符合图像本质的描述子至关重要。这里，我们提出了一种有效节能的描述子用来表示高光谱光带。

基于稀疏度量矩阵的随机投影

如果一个信号是可压缩的，那么根据压缩感知理论，随机生成的少量线性度量（翻译成信号可能更合适）就能保持嵌入在原始高维信号中的显著信息。具体地，

如果R满足JL引理的话，原始的高维信号y(d维)可以通过一个低维描述子x(k维，k<d)近乎完美地复原。

受限于满足RIP的难度，一种可行的度量矩阵是随机高斯矩阵R(k*d维度).但是，这种矩阵往往是稠密的，在k值较大时，存储和计算消耗仍然较高。为了在实际的高光谱光带表示中做到信息保留和数据降维，在这里采取同[43]的稀疏度量矩阵。该稀疏矩阵能有效地将原始特征空间投影到低维的压缩子空间，其中的元素定义为：

这里的s是一个经验值，一般设置为s=d/4.因为我没有作者的源码，我自己是这样理解的：将概率分成三个段，然后生成0-1之间的随机数，在第一段范围内R的值设置为根号s，第二段范围内设置为0，第三段范围内设置为负的根号s。有文献支撑该稀疏矩阵能对原始特征进行有效的低维投影。

低维压缩描述子

在我们提出的光带选择框架下，光带是通过低维的描述子进行描述的。基于前面提到的随机投影，这些描述子是从多尺度的特征空间提取集成得到的。整个特征抽取流程如下图所示：

首先，对每个光带进行四个尺度的动态高斯金字塔。整个过程是通过对原始图像连续地进行低通滤波和下采样实现的，结果产生4个octave（4个是由于4个尺度，octave我不知道该如何翻译），多尺度有利于整合像素全局信息；第二步，对产生的octave计算4个集成图像（整个步骤我也没理解透），最终每个光带被表示成一个高维向量y(d维)，d是动态高斯金字塔中像素的数量。对高光谱图像而言，d一般在10的4次方到6次方量级。最后，利用稀疏矩阵R对原始特征进行投影得到低维的特征表示x(k维)，在实验中设置k为200.

基于多任务稀疏追踪的标准

本文提出的框架是对光带进行群组式选择，也就是说将每个可能的光带组合作为一个完整的单元。在选择可能的光带集合之前，首先应该介绍评判标准。在本文里，我们基于多任务稀疏追踪提出了一种评价标准用于评价组合的好坏。下面详细介绍该标准的每一步。

高光谱图像的多任务表示

在许多的实际场景中，一个学习问题可以通过在一些潜在因素中共享依赖的相关子问题得以解决。因此，与独立地处理每个问题相比，基于多任务学习的框架使用子任务的内在关联信息联合地解决子问题更具优势。近期以来，多任务学习已经成功地应用到图像分类、显著性检测等问题。考虑到光带之间的强关联性和数据的冗余，一个高光谱图像的光带与其相邻光带往往是非常相似的（可以线性表示）。具体地，本文提出的标准如下：

一个高光谱图像块被表示为

其中X的每一列是一个光带的k维表示，我们所期待的光带组合可以看作一个字典D，表示为

其中每一个di就是我们想要的具有代表性的光带的表示。也就是说，每一个光带xi都可以表示为字典D的线性组合，系数为zi如下式：

而且，已知相邻光带间高冗余高相关，这使得独立地表示每个光带是稀疏的。（这句话翻译得生硬，意思是说，表示系数可能大部分为0）.特别地，在我们的研究中，我们期待每个光带的表示是稀疏的（子任务）且共享同一个字典的，这样就可以通过联合稀疏追踪来实现光带的可靠重建。

在多任务学习的框架下，联合稀疏最常采用的策略是使混合范数。下图展示了联合稀疏正则化项是如何发挥作用的。稀疏系数矩阵的第i列构成了光带xi的一个表示，联合稀疏正则化项不仅鼓励每个列向量是稀疏的，而且也在每一行中对系数进行限制。（http://blog.csdn.net/jzwong/article/details/50700361）。总之，本文提出的框架如下：

APG方法

我对APG不怎么熟悉，待日后功底深厚一些再回来补充相关的理解吧。反正这里都是套路，就是用来求解上面提出的模型的。常用的还有ADM等优化求解算法。

表示的评价

在最后一步，需要根据某些给定的评价准则来确定最终选择的光带。在本文中，最终选择让模型产生最小损失的光带作为字典。

计算进化光带选择

听这个名字就挺吓人的。开始的时候会有困惑，最终不是只要一个字典吗？为啥在这里学习到了字典的集合了？其实是这样的，在这里作者不希望再每次对一个高光谱图像学习一个字典，而是希望同时可以学习到多个高光谱图像的字典，这正是所谓的“进化”。群组式的光带选择可能存在无数可能的光带组合，计算进化策略则提供了一理想解。在若干策略中，由于其出色的全局搜索能力，免疫克隆系统可能是最为流行的。因此，在本文中，我们使用免疫克隆系统来解决高光谱光带选择的问题。

基于所提准则的亲和函数

免疫克隆系统起源于克隆选择理论，该理论描述了生物免疫系统对抗原入侵的动态学习机理。在典型的免疫克隆系统中，抗原通常被看作待解决的目标问题，抗体细胞则被当作问题的解决方案。显然，不同的抗体对抗原有不同的消灭能力。免疫克隆系统的主要过程就是搜索哪些对入侵的抗原最具有亲和能力的抗体。而在光带选择问题中，最终的目的则是保留具有最小重构误差的光带。类似地我们可以说，高光谱图像的表示就是抗原，解决表示问题的光带组合则是抗体。我们就是要寻找最具有表示能力（最亲和）的光带组合。为此，我们定义了一个亲和函数如下：

其实这个函数是非常直观的。先回顾一下前面提到的符号。X=[x1,...,xn]是一个高光谱图像的表示，其中每个xi对应一个光带，D就是一个光带组合，其应该是X的一个子集。Z是稀疏系数矩阵表示我们多任务学习框架下得到的重构系数。显然A(D)的值越大表明重构的越好，也就是说当前的D是一个好的光带组合。

有效光带选择的克隆操作

在生物免疫系统中，当一种新型抗原入侵系统时，器官能够克隆高亲和的抗体来进行防御。这个过程主要包括克隆，变异和选择。在本文中，可能的光带组合是抗体群(antibody populations)。抗体群记作，其中N被设置为10.免疫克隆系统的状态转移如下：

箭头上的三个标号分别表示克隆，变异和选择。t到t+1表示到达一种新的状态。

克隆其实是一个自我复制的过程。在这个过程中共复制

个Di。

变异操作的目的是使得抗体群更丰富一些。在本文中，我们随机选出NMDi'个复制的抗体，然后替换为等量的其它可用的组合。此外，在变异的过程中会有一个补充操作避免用重复的抗体来更新。

选择操作则根据前面的亲和函数来进行。一个变异的抗体Di‘’是否替换原来的Di通过下式确定：

更新后的Di构成新的D(t+1).在过去的50次更新里当最高的亲和度相对变化率低于一个预先指定的阈值时更新停止。在论文中，作者将N设置为10，也就是说，作者希望每次能同时完成10个高光谱图像的代表性光带的选择。我自己认为，这里用类似生物免疫克隆的机制来解释多个字典的学习过程是本文最大的亮点，最起码让我读了非常的新颖。

实验

实验结果就是各种好，暂且不论，就先写到这里吧。