压缩感知应用FAQ

前面有几篇很有意思的文章分别介绍了压缩感知原理以及如何运用矩阵的稀疏性进行相关分析，这一篇文章中呢，我不提压缩感知原理，如果想看原理的朋友请看下面几篇文章：

• 初识压缩感知Compressive Sensing
  
• 中国压缩传感资源（China Compressive Sensing Resources）
• 压缩感知进阶——有关稀疏矩阵
• “压缩感知” 之 “Hello World”
  

那么我这里讲什么呢？

由于最近很多朋友在问，压缩感知到底是取的什么信号？重建新号和原始信号的区别？有噪声怎么办？  这一篇中我就主要针对以上问题进行讲解，参考文献只有一篇就可以讲清楚：An introduction to compressive sampling (Signal Processing Magazine 2008 1061')。

首先需要大家对压缩感知有个宏观的了解，不了解的童鞋请去看下上面几篇文章（重点看压缩感知进阶——有关稀疏矩阵）

------------------------------------------------------------------------------

1. 原始信号f是什么？我采集的是原始信号f还是y = Af得到的y？

记原始信号为f，我们在sensor方得到的原始信号就是n*1的信号f，而在receiver方采集到的信号是y。针对y=Af做变换时，A（m*n ）是一个随机矩阵（真的很随机，不用任何正交啊什么的限定）。通过由随机矩阵变换内积得到y，我们的目标是从y中恢复f。由于A是m*n(m<n)的，所以原信号f（n*1）信号被压缩到y（m*1）。

2. 有的地方写 y =Ax, 有的地方写 y=Dx，这里A和D只是符号的区别吗？压缩感知问题中的字典是什么？

不是只有符号区别！详见开始我写的参考文献中公式(4)(5)，f可以通过矩阵分解（SVD/QR）得到正交矩阵的线性组合，即：

这里ψ是n*n的正交矩阵，x是与ψ内积能够得到f的n*1向量，相当于系数。这里终于出现了稀疏的定义！！！假定x是稀疏的（注意是x而非f）！

为什么要把f分解呢？因为A是非常随机的随机矩阵啊！竟然随机！？这样如果A非常稀疏，那么y还能恢复的出来？

对！所以我们要将f分解为正交阵和向量的线性组合。

好，带入y=Af，得

因为A是随机矩阵，ψ是n*n的正交矩阵，所以A乘以ψ相当于给A做了一个旋转变换，其结果Aψ还是一个随机矩阵。这里的Aψ才是D，也就是字典！于是乎，形成了

其中x假设是稀疏的，但并非最初的采样值，D是恢复（重建）矩阵。

这就是D与A的区别。

3. 为什么在MP和OMP算法中，要用一个随机矩阵乘以一个正交傅里叶矩阵？

在“压缩感知” 之 “Hello World”这篇文章中，我们采用OMP算法求取稀疏矩阵x，用了一个随机矩阵A和傅里叶正变换矩阵ψ相乘得到字典D，但事实上这只是一个例子而已，我们还可以有很多其他选择，包括随机矩阵的选取和什么样的正交阵，都可以有变化。

上面我们假定了y=Dx中x是稀疏的，就可以应用压缩感知的理论，通过Matching pursuit或者basis pursuit进行x重建了。

重建之后呢，由于x并非原始信号f，只需将ψ与恢复出的信号x进行内积，就可以恢复出原始信号f。

4.有几种常用的测量方式？

三种：

A. 产生一个随机矩阵（Gaussian /Bernoulli  Distribution），与原始信号f相乘

B. 在fourier变换域采样

C. 线积分（即拉当变换(Radon)），广泛用于断层扫描。在不同方向对信号（想成图像好了）做积分，形成的不同曲线即为不同测量。

5. 有误差或者噪声的时候Compressive Sensing还管用吗？

在实际情况中呢，我们获得的数据含有噪声。相应的，用含有噪声的模型：

所以说，y是干净样本和噪声样本的叠加。

这里噪声e可以假定具有高斯分布或者什么分布具体情况具体分析。

实际样本的目标函数有以下两种：

这两种目标函数的本质是一样的，

• 对于第一种，约束项就是误差。当误差小于一个threshold(δ)时，即AE这个噪声符合理论前提条件时，进行optimize
• 对于第二种，就直接把误差项写入目标函数（loss function）

实际我们不知道噪声怎样，除非我们知道噪声上限幅值，否则也不知道AE会不会超过δ<这里可以用training data 跑跑看来定义δ >

总之，只要噪声不是特别离谱，程序能去除一些。

6. 压缩感知问题怎样确定稀疏度？

稀疏度是CS中一个很头痛的问题，这里仅给出基本思路，因为我也没有具体实践过。

Method：

对很多f信号组成的一个矩阵进行SVD，画出奇异值衰减曲线，看在哪儿拐得最厉害，就可以判断这种信号潜在的低维度到底是多少，然后稀疏度就设成那个数  。

Reference: http://blog.csdn.net/abcjennifer/article/details/8058818