压缩感知重构算法之稀疏度自适应匹配追踪(SAMP)

来源:互联网 发布:js 同意协议 编辑:程序博客网 时间:2024/05/20 02:30

题目:压缩感知重构算法之稀疏度自适应匹配追踪(SAMP)

转载自彬彬有礼的专栏

        鉴于前面所述大部分OMP及其前改算法都需要已知信号的稀疏度K,而在实际中这个一般是不知道的,基于此背景,稀疏度自适应匹配追踪(Sparsity Adaptive MP)被提出。

0、符号说明如下:

        压缩观测y=Φx,其中y为观测所得向量M×1,x为原信号N×1(M<<N)。x一般不是稀疏的,但在某个变换域Ψ是稀疏的,即x=Ψθ,其中θ为K稀疏的,即θ只有K个非零项。此时y=ΦΨθ,令A=ΦΨ,则y=

        (1) y为观测所得向量,大小为M×1

        (2)x为原信号,大小为N×1

        (3)θ为K稀疏的,是信号在x在某变换域的稀疏表示

        (4) Φ称为观测矩阵、测量矩阵、测量基,大小为M×N

        (5) Ψ称为变换矩阵、变换基、稀疏矩阵、稀疏基、正交基字典矩阵,大小为N×N

        (6)A称为测度矩阵、传感矩阵、CS信息算子,大小为M×N

上式中,一般有K<<M<<N,后面三个矩阵各个文献的叫法不一,以后我将Φ称为测量矩阵、将Ψ称为稀疏矩阵、将A称为传感矩阵

        注意:这里的稀疏表示模型为x=Ψθ,所以传感矩阵A=ΦΨ;而有些文献中稀疏模型为θ=Ψx,而一般Ψ为Hermite矩阵(实矩阵时称为正交矩阵)所以Ψ-1=ΨH(实矩阵时为Ψ-1=ΨT),x=ΨHθ,所以传感矩阵A=ΦΨH,例如沙威的OMP例程中就是如此。

1、SAMP重构算法流程:


        以上这个算法流程仅供参考,完全是为了与前面各算法流程形式上保持一致而写的,其实直接看文献[1]中的流程图更明了一些:

2、稀疏度自适应匹配追踪(SAMP)Matlab代码(CS_SAMP.m)

        代码参考了文献[2]中的SAMP.m,也可在www.pudn.com中搜索SAMP,可以搜到很多结果。也许这里程序主循环用while循环比较合适,不过这里保持和前面各算法的一致性,仍用for循环。

[plain] view plain copy
print?
  1. function [ theta ] = CS_SAMP( y,A,S )  
  2. %CS_SAMP Summary of this function goes here  
  3. %Version: 1.0 written by jbb0523 @2015-05-08  
  4. %   Detailed explanation goes here  
  5. %   y = Phi * x  
  6. %   x = Psi * theta  
  7. %   y = Phi*Psi * theta  
  8. %   令 A = Phi*Psi, 则y=A*theta  
  9. %   现在已知y和A,求theta  
  10. %   Reference:Thong T.Do,Lu Gan,Nam Nguyen,Trac D.Tran.Sparsity adaptive  
  11. %   matching pursuit algorithm for practical compressed sensing[C].Asilomar  
  12. %   Conference on Signals,Systems,and Computers,Pacific Grove,California,  
  13. %   2008,10:581-587.  
  14. %   Available at:  
  15. %   http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/asilomar08_final.pdf  
  16.     [y_rows,y_columns] = size(y);  
  17.     if y_rows<y_columns  
  18.         y = y';%y should be a column vector  
  19.     end  
  20.     [M,N] = size(A);%传感矩阵A为M*N矩阵  
  21.     theta = zeros(N,1);%用来存储恢复的theta(列向量)  
  22.     Pos_theta = [];%用来迭代过程中存储A被选择的列序号  
  23.     r_n = y;%初始化残差(residual)为y  
  24.     L = S;%初始化步长(Size of the finalist in the first stage)  
  25.     Stage = 1;%初始化Stage  
  26.     IterMax = M;  
  27.     for ii=1:IterMax%最多迭代M次  
  28.         %(1)Preliminary Test  
  29.         product = A'*r_n;%传感矩阵A各列与残差的内积  
  30.         [val,pos]=sort(abs(product),'descend');%降序排列  
  31.         Sk = pos(1:L);%选出最大的L个  
  32.         %(2)Make Candidate List  
  33.         Ck = union(Pos_theta,Sk);  
  34.         %(3)Final Test  
  35.         if length(Ck)<=M  
  36.             At = A(:,Ck);%将A的这几列组成矩阵At  
  37.         else  
  38.             theta_ls=0;  
  39.             break;  
  40.         end  
  41.         %y=At*theta,以下求theta的最小二乘解(Least Square)  
  42.         theta_ls = (At'*At)^(-1)*At'*y;%最小二乘解  
  43.         [val,pos]=sort(abs(theta_ls),'descend');%降序排列  
  44.         F = Ck(pos(1:L));  
  45.         %(4)Compute Residue  
  46.         %A(:,F)*theta_ls是y在A(:,F)列空间上的正交投影  
  47.         theta_ls = (A(:,F)'*A(:,F))^(-1)*A(:,F)'*y;  
  48.         r_new = y - A(:,F)*theta_ls;%更新残差r  
  49.         if norm(r_new)<1e-6%halting condition true   
  50.             Pos_theta = F;  
  51.             %r_n = r_new;%更新r_n以便输出最新的r_n  
  52.             break;%quit the iteration  
  53.         elseif norm(r_new)>=norm(r_n)%stage switching   
  54.             Stage = Stage + 1;%Update the stage index   
  55.             L = Stage*S;%Update the size of finalist  
  56.             if ii == IterMax%最后一次循环  
  57.                 Pos_theta = F;%更新Pos_theta以与theta_ls匹配,防止报错  
  58.             end  
  59.             %ii = ii - 1;%迭代次数不更新  
  60.         else  
  61.             Pos_theta = F;%Update the finalist Fk  
  62.             r_n = r_new;%Update the residue  
  63.         end  
  64.     end  
  65.     theta(Pos_theta)=theta_ls;%恢复出的theta  
  66. end  

3、SAMP单次重构测试代码

        以下测试代码基本与OMP单次重构测试代码一样。

[plain] view plain copy
print?
  1. %压缩感知重构算法测试  
  2. clear all;close all;clc;  
  3. M = 128;%观测值个数  
  4. N = 256;%信号x的长度  
  5. K = 30;%信号x的稀疏度  
  6. Index_K = randperm(N);  
  7. x = zeros(N,1);  
  8. x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的,且位置是随机的  
  9. Psi = eye(N);%x本身是稀疏的,定义稀疏矩阵为单位阵x=Psi*theta  
  10. Phi = randn(M,N)/sqrt(M);%测量矩阵为高斯矩阵  
  11. A = Phi * Psi;%传感矩阵  
  12. y = Phi * x;%得到观测向量y  
  13. %% 恢复重构信号x  
  14. tic  
  15. theta = CS_SAMP( y,A,5);  
  16. x_r = Psi * theta;% x=Psi * theta  
  17. toc  
  18. %% 绘图  
  19. figure;  
  20. plot(x_r,'k.-');%绘出x的恢复信号  
  21. hold on;  
  22. plot(x,'r');%绘出原信号x  
  23. hold off;  
  24. legend('Recovery','Original')  
  25. fprintf('\n恢复残差:');  
  26. norm(x_r-x)%恢复残差  

        运行结果如下:(信号为随机生成,所以每次结果均不一样)

        1)图:

        2)Command  windows

        Elapsed time is 0.079620 seconds.

        恢复残差:

        ans=

          1.3008e-014

4、稀疏度K与重构成功概率关系曲线绘制例程代码

        以下测试代码为了与文献[1]的Fig.5(a)作比较。由于暂未研究学习LP算法,所以相比于文献[1]的Fig.5(a)缺少LP算法曲线。另外,本人的ROMP性能不如各文献中的ROMP,不知是不是算法理解有误。

[plain] view plain copy
print?
  1. clear all;close all;clc;  
  2. %% 参数配置初始化  
  3. CNT = 1000;%对于每组(K,M,N),重复迭代次数  
  4. N = 256;%信号x的长度  
  5. Psi = eye(N);%x本身是稀疏的,定义稀疏矩阵为单位阵x=Psi*theta  
  6. M_set = [128];%测量值集合  
  7. KIND = ['OMP      ';'ROMP     ';'StOMP    ';'SP       ';'CoSaMP   ';...  
  8.     'SAMP,s=1 ';'SAMP,s=5 ';'SAMP,s=10'];  
  9. Percentage = zeros(N,length(M_set),size(KIND,1));%存储恢复成功概率  
  10. %% 主循环,遍历每组(K,M,N)  
  11. tic  
  12. for mm = 1:length(M_set)  
  13.     M = M_set(mm);%本次测量值个数  
  14.     K_set = 10:5:70;%信号x的稀疏度K没必要全部遍历,每隔5测试一个就可以了  
  15.     %存储此测量值M下不同K的恢复成功概率  
  16.     PercentageM = zeros(size(KIND,1),length(K_set));  
  17.     for kk = 1:length(K_set)  
  18.        K = K_set(kk);%本次信号x的稀疏度K  
  19.        P = zeros(1,size(KIND,1));  
  20.        fprintf('M=%d,K=%d\n',M,K);  
  21.        for cnt = 1:CNT %每个观测值个数均运行CNT次  
  22.             Index_K = randperm(N);  
  23.             x = zeros(N,1);  
  24.             x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的,且位置是随机的                  
  25.             Phi = randn(M,N)/sqrt(M);%测量矩阵为高斯矩阵  
  26.             A = Phi * Psi;%传感矩阵  
  27.             y = Phi * x;%得到观测向量y  
  28.             %(1)OMP  
  29.             theta = CS_OMP(y,A,K);%恢复重构信号theta  
  30.             x_r = Psi * theta;% x=Psi * theta  
  31.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  32.                 P(1) = P(1) + 1;  
  33.             end  
  34.             %(2)ROMP  
  35.             theta = CS_ROMP(y,A,K);%恢复重构信号theta  
  36.             x_r = Psi * theta;% x=Psi * theta  
  37.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  38.                 P(2) = P(2) + 1;  
  39.             end  
  40.             %(3)StOMP  
  41.             theta = CS_StOMP(y,A);%恢复重构信号theta  
  42.             x_r = Psi * theta;% x=Psi * theta  
  43.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  44.                 P(3) = P(3) + 1;  
  45.             end  
  46.             %(4)SP  
  47.             theta = CS_SP(y,A,K);%恢复重构信号theta  
  48.             x_r = Psi * theta;% x=Psi * theta  
  49.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  50.                 P(4) = P(4) + 1;  
  51.             end  
  52.             %(5)CoSaMP  
  53.             theta = CS_CoSaMP(y,A,K);%恢复重构信号theta  
  54.             x_r = Psi * theta;% x=Psi * theta  
  55.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  56.                 P(5) = P(5) + 1;  
  57.             end  
  58.             %(6)SAMP,s=1  
  59.             theta = CS_SAMP(y,A,1);%恢复重构信号theta  
  60.             x_r = Psi * theta;% x=Psi * theta  
  61.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  62.                 P(6) = P(6) + 1;  
  63.             end  
  64.             %(7)SAMP,s=5  
  65.             theta = CS_SAMP(y,A,5);%恢复重构信号theta  
  66.             x_r = Psi * theta;% x=Psi * theta  
  67.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  68.                 P(7) = P(7) + 1;  
  69.             end  
  70.             %(8)SAMP,s=10  
  71.             theta = CS_SAMP(y,A,10);%恢复重构信号theta  
  72.             x_r = Psi * theta;% x=Psi * theta  
  73.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  74.                 P(8) = P(8) + 1;  
  75.             end  
  76.        end  
  77.        for iii = 1:size(KIND,1)  
  78.            PercentageM(iii,kk) = P(iii)/CNT*100;%计算恢复概率  
  79.        end  
  80.     end  
  81.     for jjj = 1:size(KIND,1)  
  82.         Percentage(1:length(K_set),mm,jjj) = PercentageM(jjj,:);  
  83.     end  
  84. end  
  85. toc  
  86. save KtoPercentage1000SAMP %运行一次不容易,把变量全部存储下来  
  87. %% 绘图  
  88. S = ['-ks';'-ko';'-yd';'-gv';'-b*';'-r.';'-rx';'-r+'];  
  89. figure;  
  90. for mm = 1:length(M_set)  
  91.     M = M_set(mm);  
  92.     K_set = 10:5:70;  
  93.     L_Kset = length(K_set);  
  94.     for ii = 1:size(KIND,1)  
  95.         plot(K_set,Percentage(1:L_Kset,mm,ii),S(ii,:));%绘出x的恢复信号  
  96.         hold on;  
  97.     end  
  98. end  
  99. hold off;  
  100. xlim([10 70]);  
  101. legend('OMP','ROMP','StOMP','SP','CoSaMP',...  
  102.     'SAMP,s=1','SAMP,s=5','SAMP,s=10');  
  103. xlabel('Sparsity level K');  
  104. ylabel('The Probability of Exact Reconstruction');  
  105. title('Prob. of exact recovery vs. the signal sparsity K(M=128,N=256)(Gaussian)');  

        本程序在联想ThinkPadE430C笔记本(4GBDDR3内存,i5-3210)上运行共耗时1591.830781,程序中将所有数据均通过“save KtoPercentage1000SAMP”存储了下来,以后可以再对数据进行分析,只需“load KtoPercentage1000SAMP”即可。

        本程序运行结果:

        参考文献[1]中的Fig.4(a):

5、测量数M与重构成功概率关系曲线绘制例程代码

        以下测试代码为了与文献[1]的Fig.4(a)作比较。由于暂未研究学习LP算法,所以相比于文献[1]的Fig.4(a)缺少LP算法曲线。另外,本人的ROMP性能不如各文献中的ROMP,不知是不是算法理解有误。

[plain] view plain copy
print?
  1. clear all;close all;clc;  
  2. %% 参数配置初始化  
  3. CNT = 1000;%对于每组(K,M,N),重复迭代次数  
  4. N = 256;%信号x的长度  
  5. Psi = eye(N);%x本身是稀疏的,定义稀疏矩阵为单位阵x=Psi*theta  
  6. K_set = [20];%信号x的稀疏度集合  
  7. KIND = ['OMP      ';'ROMP     ';'StOMP    ';'SP       ';'CoSaMP   ';...  
  8.     'SAMP,s=1 ';'SAMP,s=5 ';'SAMP,s=10'];  
  9. Percentage = zeros(N,length(K_set),size(KIND,1));%存储恢复成功概率  
  10. %% 主循环,遍历每组(K,M,N)  
  11. tic  
  12. for kk = 1:length(K_set)  
  13.     K = K_set(kk);%本次稀疏度  
  14.     M_set = 50:5:100;%M没必要全部遍历,每隔5测试一个就可以了  
  15.     %存储此稀疏度K下不同M的恢复成功概率  
  16.     PercentageK = zeros(size(KIND,1),length(M_set));  
  17.     for mm = 1:length(M_set)  
  18.        M = M_set(mm);%本次观测值个数  
  19.        P = zeros(1,size(KIND,1));  
  20.        fprintf('M=%d,K=%d\n',M,K);  
  21.        for cnt = 1:CNT %每个观测值个数均运行CNT次  
  22.             Index_K = randperm(N);  
  23.             x = zeros(N,1);  
  24.             x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的,且位置是随机的                  
  25.             Phi = randn(M,N)/sqrt(M);%测量矩阵为高斯矩阵  
  26.             A = Phi * Psi;%传感矩阵  
  27.             y = Phi * x;%得到观测向量y  
  28.             %(1)OMP  
  29.             theta = CS_OMP(y,A,K);%恢复重构信号theta  
  30.             x_r = Psi * theta;% x=Psi * theta  
  31.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  32.                 P(1) = P(1) + 1;  
  33.             end  
  34.             %(2)ROMP  
  35.             theta = CS_ROMP(y,A,K);%恢复重构信号theta  
  36.             x_r = Psi * theta;% x=Psi * theta  
  37.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  38.                 P(2) = P(2) + 1;  
  39.             end  
  40.             %(3)StOMP  
  41.             theta = CS_StOMP(y,A);%恢复重构信号theta  
  42.             x_r = Psi * theta;% x=Psi * theta  
  43.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  44.                 P(3) = P(3) + 1;  
  45.             end  
  46.             %(4)SP  
  47.             theta = CS_SP(y,A,K);%恢复重构信号theta  
  48.             x_r = Psi * theta;% x=Psi * theta  
  49.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  50.                 P(4) = P(4) + 1;  
  51.             end  
  52.             %(5)CoSaMP  
  53.             theta = CS_CoSaMP(y,A,K);%恢复重构信号theta  
  54.             x_r = Psi * theta;% x=Psi * theta  
  55.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  56.                 P(5) = P(5) + 1;  
  57.             end  
  58.             %(6)SAMP,s=1  
  59.             theta = CS_SAMP(y,A,1);%恢复重构信号theta  
  60.             x_r = Psi * theta;% x=Psi * theta  
  61.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  62.                 P(6) = P(6) + 1;  
  63.             end  
  64.             %(7)SAMP,s=5  
  65.             theta = CS_SAMP(y,A,5);%恢复重构信号theta  
  66.             x_r = Psi * theta;% x=Psi * theta  
  67.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  68.                 P(7) = P(7) + 1;  
  69.             end  
  70.             %(8)SAMP,s=10  
  71.             theta = CS_SAMP(y,A,10);%恢复重构信号theta  
  72.             x_r = Psi * theta;% x=Psi * theta  
  73.             if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功  
  74.                 P(8) = P(8) + 1;  
  75.             end  
  76.        end  
  77.        for iii = 1:size(KIND,1)  
  78.            PercentageK(iii,mm) = P(iii)/CNT*100;%计算恢复概率  
  79.        end  
  80.     end  
  81.     for jjj = 1:size(KIND,1)  
  82.         Percentage(1:length(M_set),kk,jjj) = PercentageK(jjj,:);  
  83.     end  
  84. end  
  85. toc  
  86. save MtoPercentage1000SAMP %运行一次不容易,把变量全部存储下来  
  87. %% 绘图  
  88. S = ['-ks';'-ko';'-yd';'-gv';'-b*';'-r.';'-rx';'-r+'];  
  89. figure;  
  90. for kk = 1:length(K_set)  
  91.     K = K_set(kk);  
  92.     M_set = 50:5:100;  
  93.     L_Mset = length(M_set);  
  94.     for ii = 1:size(KIND,1)  
  95.         plot(M_set,Percentage(1:L_Mset,kk,ii),S(ii,:));%绘出x的恢复信号  
  96.         hold on;  
  97.     end  
  98. end  
  99. hold off;  
  100. xlim([50 100]);  
  101. legend('OMP','ROMP','StOMP','SP','CoSaMP',...  
  102.     'SAMP,s=1','SAMP,s=5','SAMP,s=10');  
  103. xlabel('No. of Measurements');  
  104. ylabel('The Probability of Exact Reconstruction');  
  105. title('Prob. of exact recovery vs. the number of measurements(K=20,N=256)(Gaussian)');  

        本程序在联想ThinkPadE430C笔记本(4GBDDR3内存,i5-3210)上运行共耗时373.898668,程序中将所有数据均通过“save SAMPMtoPercentage1000”存储了下来,以后可以再对数据进行分析,只需“load SAMPMtoPercentage1000”即可。

        本程序运行结果:

        参考文献[1]中的Fig.5(a):


6、结语

        读几遍SAMP的被提出的参考文献[1]的题目:Sparsity adaptive matching pursuit algorithm for practical compressed sensing,注意后面的“for practical compressed sensing”,这也就解释了很多网友的疑问,程序中的信号直接假设是稀疏的,但现实中的信号都不知道稀疏度是多少啊?前面大部分重构算法都要求输入稀疏度K,那怎么办呢?这时SAMP出场了,它是专为了“practical compressed sensing”而提出的,因为现实中的信号一般稀疏度未知或者说不是严格稀疏的,所要需要稀疏度自适应的算法,也就是SAMP了。

        另外在测试时发现前面的CoSaMP有缺陷,因此对此进行了更新,在主循环中加入了:

[plain] view plain copy
print?
  1. if kk == 1  
  2.     theta_ls = 0;  
  3. end  

以防止第1就跳出循环导致theta_ls未定义,其它地方未改。

 参考文献:

[1]Thong T.Do,Lu Gan,NamNguyen,Trac D.Tran.Sparsityadaptive matching pursuit algorithm for practical compressed sensing[C].AsilomarConference on Signals,Systems,andComputers,Pacific Grove,California,2008,10:581-587.

(Availableat: http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/asilomar08_final.pdf)

[2]付自杰.cs_matlab. http://www.pudn.com/downloads641/sourcecode/math/detail2595379.html

[3]杨真真,杨震,孙林慧.信号压缩重构的正交匹配追踪类算法综述[J]. 信号处理,2013,29(4):486-496.

阅读全文
0 0
原创粉丝点击