深度学习资料整理（压缩感知）

近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这系列博客总结了深度学习的博客，原理等资料，供大家学习讨论。

一、深度学习资料整理（博客类）

二、深度学习资料整理（文章类）

三、深度学习资料整理（软件资源）

四、深度学习原理（关键技术总结，斯坦福大学UFLDL教程）

五、深度学习资料整理（深度神经网络理解）

六、深度学习资料整理（压缩感知）

七、深度学习资料整理（从感知机到深度网络）

八、深度学习资料整理（源码）

六、深度学习资料整理（压缩感知）

压缩感知技术

　　压缩感知（Compressive Sensing, orCompressed Sampling，简称CS），由Candes、TerresTao等人提出，挑战传统的Nyquist采样定理采样编码技术。

　　压缩感知理论为信号采集技术带来了革命性的突破，它采用非自适应线性投影来保持信号的原始结构，以远低于奈奎斯特频率对信号进行采样，通过数值最优化问题准确重构出原始信号。

经典的数据压缩技术如音频压缩（例如mp3）、图像压缩（例如jpeg）、视频压缩（mpeg）、编码压缩（zip）都是从数据本身的特性出发，寻找并剔除数据中隐含的冗余度达到压缩的目的。

这样的压缩有两个特点：

1）它是发生在数据已经被完整采集到之后；

2）它本身需要复杂的算法来完成。相较而言，解码过程反而一般来说在计算上比较简单，以音频压缩为例，压制一个mp3 文件的计算量远大于播放（即解压缩）一个mp3 文件的计算量。

问题：在大多数情况下，采集并处理数据的设备是廉价、省电、计算能力较低的便携设备如傻瓜相机、或者录音笔、或者遥控监视器等等，而负责处理（即解压缩）信息的过程却反而往往在大型计算机上进行，它有更高的计算能力，也常常没有便携和省电的要求。也就是说，人们是在用廉价节能的设备来处理复杂的计算任务，而用大型高效的设备处理相对简单的计算任务。这一矛盾在某些情况下甚至会更为尖锐，例如在野外作业或者军事作业的场合，采集数据的设备往往曝露在自然环境之中，随时可能失去能源供给或者甚至部分丧失性能，在这种情况下，传统的数据采集-压缩-传输-解压缩的模式就基本上失效了。 　　

压缩感知思想：直接「采集」压缩后的数据，采集的任务要轻得多，省去了压缩的复杂。

 

压缩感知从尽量少的数据中提取尽量多的信息，创造性的将L1范数最小化稀疏约束与随机矩阵结合，得到一个稀疏信号重建性能的最佳结果。抛弃了当前信号采样中的冗余信息。它直接从连续时间信号变换得到压缩样本，然后在数字信号处理中采用优化方法处理压缩样本。这里恢复信号所需的优化算法常常是一个已知信号稀疏的欠定线性逆问题。

 

压缩感知理论的核心思想主要包括两点。

1）信号的稀疏结构。传统的Shannon信号表示方法只开发利用了最少的被采样信号的先验信息，即信号的带宽。但是，现实生活中很多广受关注的信号本身具有一些结构特点。相对于带宽信息的自由度，这些结构特点是由信号的更小的一部分自由度所决定。换句话说，在很少的信息损失情况下，这种信号可以用很少的数字编码表示，所以这种信号是稀疏信号（或者近似稀疏信号、可压缩信号）。

2）不相关特性。稀疏信号的有用信息的获取可以通过一个非自适应的采样方法将信号压缩成较小的样本数据来完成。理论证明压缩感知的采样方法只是一个简单的将信号与一组确定的波形进行相关的操作，这些波形要求是与信号所在的稀疏空间不相关的。 

 

在大量的实际问题中，人们倾向于尽量少地采集数据，或者由于客观条件所限不得不采集不完整的数据。如果这些数据和人们所希望重建的信息之间有某种全局性的变换关系，并且人们预先知道那些信息满足某种稀疏性条件，就总可以试着用类似的方式从比较少的数据中还原出比较多的信号来。到今天为止，这样的研究已经拓展地非常广泛了。 　　

但是同样需要说明的是，这样的做法在不同的应用领域里并不总能满足上面所描述的两个条件。有的时候，第一个条件（也就是说测量到的数据包含信号的全局信息）无法得到满足，例如最传统的摄影问题，每个感光元件所感知到的都只是一小块图像而不是什么全局信息，这是由照相机的物理性质决定的。为了解决这个问题，美国Rice大学的一部分科学家正在试图开发一种新的摄影装置（单像素照相机），争取用尽量少的感光元件实现尽量高分辨率的摄影。

有的时候，第二个条件（也就是说有数学方法保证能够从不完整的数据中还原出信号）无法得到满足。这种时候，实践就走在了理论前面。人们已经可以在算法上实现很多数据重建的过程，但是相应的理论分析却成为了留在数学家面前的课题。 　　

 主要应用

1）无线通信

　　认知无线电方向：宽带谱感知技术是认识无线电应用中一个难点和重点。它通过快速寻找监测频段中没有利用的无线频谱，从而为认知无线电用户提供频谱接入机会。传统的滤波器组的宽带检测需要大量的射频前端器件，并且不能灵活调整系统参数。普通的宽带接收电路要求很高的采样率，它给模数转换器带来挑战，并且获得的大量数据处理给数字信号处理器带来负担。针对宽带谱感知的难题，将压缩感知方法应用到宽带谱感知中：采用一个宽带数字电路，以较低的频谱获得欠采样的随机样本，然后在数字信号处理器中采用稀疏信号估计算法得到宽带谱感知结果。[4] 信道编码：压缩传感理论中关于稀疏性、随机性和凸最优化的结论可以直接应用于设计快速误差校正编码,这种编码方式在实时传输过程中不受误差的影响。在压缩编码过程中,稀疏表示所需的基对于编码器可能是未知的.然而在压缩传感编码过程中,它只在译码和重构原信号时需要,因此不需考虑它的结构,所以可以用通用的编码策略进行编码.Haupt等通过实验表明如果图像是高度可压缩的或者SNR充分大,即使测量过程存在噪声,压缩传感方法仍可以准确重构图像。 [5]

2）阵列信号处理

　　波达方向估计：目标出现的角度在整个扫描空间来看，是极少数。波达方向估计问题在空间谱估计观点来看是一个欠定的线性逆问题。通过对角度个数的稀疏限制，可以完成压缩感知的波达方向估计。[6] 波束形成：传统的自适应波束形成因其高分辨率和抗干扰能力强等优点而被广泛采用。但同时它的高旁瓣水平和角度失匹配敏感度高问题将大大降低接收性能。为了改进Capon波束形成的性能，这些通过稀疏波束图整形的方法限制波束图中阵列增益较大的元素个数，同时鼓励较大的阵列增益集中在波束主瓣中，从而达到降低旁瓣水平同时，提高主瓣中阵列增益水平，降低角度失匹配的影响。[7][8]

3）成像

　　运用压缩传感原理, RICE大学成功研制了\单像素"压缩数码照相机。 设计原理首先是通过光路系统将成像目标投影到一个数字微镜器件(DMD)上,其反射光由透镜聚焦到单个光敏二极管上,光敏二极管两端的电压值即为一个测量值y,将此投影操作重复M次,得到测量向量, 然后用最小全变分算法构建的数字信号处理器重构原始图像。数字微镜器件由数字电压信号控制微镜片的机械运动以实现对入射光线的调整。由于该相机直接获取的是M次随机线性测量值而不是获取原始信号的N(M，N)个像素值,为低像素相机拍摄高质量图像提供了可能.。 　　压缩传感技术也可以应用于雷达成像领域,与传统雷达成像技术相比压缩传感雷达成像实现了两个重要改进:在接收端省去脉冲压缩匹配滤波器;同时由于避开了对原始信号的直接采样,降低了接收端对模数转换器件带宽的要求.设计重点由传统的设计昂贵的接收端硬件转化为设计新颖的信号恢复算法,从而简化了雷达成像系统。

4）模拟信息转换

　　对于带宽非常高的信号, 例如雷达和通信信号处理系统涉及的射频信号,根据香农采样定理,要获得完整的信号信息,所采用的模数转换器必须有很高的采样频率.然而由于传感器及转换硬件性能的限制,获得的信号的带宽远远低于实际信号的带宽,存在较大的信息丢失.对此Kriolos等设计了基于压缩传感理论的模拟/信息转换器， 利用压缩传感理论中测量信息可以得到完整信号的原理,首先获得原始信号的线性测量,再利用后端DSP重构原始信号或直接计算原始信号的统计数据等信息。

5）生物传感

生物传感中的传统DNA芯片能平行测量多个有机体,但是只能识别有限种类的有机体,Sheikh等人运用压缩传感和群组检测原理设计的压缩传感DNA芯片克服了这个缺点。压缩传感DNA芯片中的每个探测点都能识别一组目标,从而明显减少了所需探测点数量.此外基于生物体基因序列稀疏特性,Sheikh等人验证了可以通过置信传播的方法实现压缩传感DNA芯片中的信号重构。

展望

1）非线性测量的压缩感知

将压缩感知解决的线性逆问题推广到非线性函数参数的求解问题。广义的讲，非线性测量的压缩感知，可以包括以前的测量矩阵不确定性问题，量化误差问题，广义线性模型问题，有损压缩样本问题。 [9] 　　

2）压缩感知在矩阵分解中的推广应用。主成分分析，表示字典学习，非负矩阵分解，多维度向量估计，低秩或高秩矩阵恢复问题。 [9] 　　

3）确定性测量矩阵的设计问题。随机矩阵在实用上存在难点。随机矩阵满足的RIP是充分非必要条件。在实际中，稀疏表示矩阵和随机矩阵相乘的结果才是决定稀疏恢复性能字典。[9]

 

参考文献

[4]Yipeng Liu, Qun Wan,"Anti-Sampling-Distortion Compressive Wideband Spectrum Sensing forCognitive Radio," International Journal of Mobile Communications, Vol.9,No. 6, pp. 604-618, 2011.  

http://arxiv.org/pdf/1005.1803

[5]李树涛，魏丹，压缩感知综述，自动化学报http://www.aas.net.cn/qikan/manage/wenzhang/2008-0751.pdf

[6]Ruiming, Yang, Yipeng Liu, Qun Wan,Wanlin Yang, "Compressive Direction Finding Based on AmplitudeComparison,”Journal of Networks.http://arxiv.org/pdf/1006.4786

[7]Yipeng Liu, Qun Wan, “RobustBeamformer Based on Total Variation Minimization and SparseConstraint,”Eletronics Letters, Vol. 46, No. 25, Dec. 2010.  

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5665843

[8]Yipeng Liu, Qun Wan, “SidelobeSuppression for Robust Beamformer Via the Mixed Norm Constraint,”WirelessPersonal Communications,  

[9]压缩感知博客http://blog.sina.com.cn/u/2472658170

扩展阅读：Compressive Sensing Resources: http://http://dsp.rice.edu/cs

 未完，持续更新中，欢迎补充！更多关注：http://blog.csdn.net/tiandijun，欢迎交流！