图像融合

一、概述
　　图像融合是图像处理中重要部分，能够协同利用同一场景的多种传感器图像信息，输出一幅更适合于人类视觉感知或计算机进一步处理与分析的融合图像。它可明显的改善单一传感器的不足，提高结果图像的清晰度及信息包含量，有利于更为准确、更为可靠、更为全面地获取目标或场景的信息。
　　图像融合主要应用于军事国防上、遥感方面、医学图像处理、机器人、安全和监控、生物监测等领域。用于较多也较成熟的是红外和可见光的融合，在一副图像上显示多种信息，突出目标。
　　融合过程可以在不同的层次上进行，可分为：信号级、像素级、特征级，决策级。
1.1、信号级
    　在最低层对未经处理的传感器输出在信号域进行混合，产生一个融合后的信号。融合后的信号与源信号形式相同但品质更好，来自传感器的信号可建模为混有不同相关噪声的随机变量。此种情况下，融合可以考虑为一种估计过程，信号级图像融合在很大程度上是信号的最优集中或分布检测问题，对信号时间和空间上的配准要求最高。
1.2、像素级
　　像素级图像融合是三个层次中最基本的融合，经过像素级图像融合以后得到的图像具有更多的细节信息，如边缘、纹理的提取，有利于图像的进一步分析、处理与理解，还能够把潜在的目标暴露出来，利于判断识别潜在的目标像素点的操作，这种方法才可以尽可能多的保存源图像中的信息，使得融合后的图片不论是内容还是细节都有所增加，这个优点是独一无二的，仅存在于像素级融合中。但像素级图像融合的局限性也是不能忽视的，由于它是对像素点进行操作，所以计算机就要对大量的数据进行处理，处理时所消耗的时间会比较长，就不能够及时地将融合后图像显示出来，无法实现实时处理；另外在进行数据通信时，信息量较大，容易受到噪声的影响；还有如果没有将图片进行严格的配准就直接参加图像融合，会导致融合后的图像模糊，目标和细节不清楚、不精确。
1.3、特征级
       特征级图像融合是从源图像中将特征信息提取出来，这些特征信息是观察者对源图像中目标或感兴趣的区域，如边缘、人物、建筑或车辆等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。对融合后的特征进行目标识别的精确度明显的高于原始图像的精确度。特征级融合对图像信息进行了压缩，再用计算机分析与处理，所消耗的内存与时间与像素级相比都会减少，所需图像的实时性就会有所提高。特征级图像融合对图像匹配的精确度的要求没有第一层那么高，计算速度也比第一层快，可是它提取图像特征作为融合信息，所以会丢掉很多的细节性特征。
1.4、决策级
　　决策级图像融合是以认知为基础的方法，它不仅是最高层次的图像融合方法，抽象等级也是最高的。决策级图像融合是有针对性的，根据所提问题的具体要求，将来自特征级图像所得到的特征信息加以利用，然后根据一定的准则以及每个决策的可信度（目标存在的概率）直接作出最优决策。三个融合层级中，决策级图像融合的计算量是最小的，可是这种方法对前一个层级有很强的依赖性，得到的图像与前两种融合方法相比不是很清晰。将决策级图像融合实现起来比较困难，但图像传输时噪声对它的影响最小。

　　综合以上，研究和应用最多的是像数级图像融合，目前提出的绝大多数的图像融合算法均属于该层次上的融合。图像融合狭义上指的就是像数级图像融合。本文研究的也正是像素级图像融合算法。像素级融合是最低层次的融合，也是后两级的基础。它是将各原图像中对应的像素进行融合处理，保留了尽可能多的图像信息， 精度比较高， 因而倍受人们的重视。像素级的图像融合方法大致可分为三大类:

       1.    简单的图像融合方法
       2.    基于塔形分解（如Laplace塔形分解、比率塔等）的图像融合方法
       3.    基于小波变换的图像融合方法

小波图像融合综述

基于小波变换的图像融合Matlab

2、拉普拉斯金字塔融合
　　图像金字塔方法的原理是：将参加融合的的每幅图像分解为多尺度的金字塔图像序列，将低分辨率的图像在上层，高分辨率的图像在下层，上层图像的大小为前一层图像大小的1/4。层数为0,1,2……N。将所有图像的金字塔在相应层上以一定的规则融合，就可得到合成金字塔，再将该合成金字塔按照金字塔生成的逆过程进行重构，得到融合金字塔。这个总的思路就是一下所有基于金字塔融合的算法过程，不同点就在于分解构造的金字塔不同，每层的融合规则不一样，重构的方法不同而已。金字塔方法最先实现了这种思想，之后小波方法进一步完善和发展了这种多尺度融和的思想。

2.1、原理阐述
      （1）高斯金字塔
　　高斯金字塔是最基本的图像塔。首先将原图像作为最底层图像G0（高斯金字塔的第0层），利用高斯核（5*5）对其进行卷积，然后对卷积后的图像进行下采样（去除偶数行和列）得到上一层图像G1，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯金字塔。
高斯金字塔的构建过程为：假设高斯金字塔的第L层图像为Gl：

式中N为高斯金字塔顶层层号，Rl和Cl分别为高斯金字塔第l层的行数和列数W（m，n）是一个二维可分离的5*5窗口函数，表达式为：

        由G0，G1，，，GN，就构成了一个高斯金字塔，其中G0为高斯金字塔的底层（与原图像相同）GN为金字塔的顶层。由此可见高斯金字塔的当前层图像就是对其前一层图像首先进行高斯低通滤波，然后再进行隔行和隔列的降2采样而生成的。前一层图像大小依次为当前层图像大小的4倍。
OpenCV中使用pyrdown函数就可以获得高斯金字塔。

[python] view plain copy

 

1. img1=imread('test.jpg');  
2. [m,n]=size(img1);  
3. w=fspecial('gaussian',[3 3]);  
4. img2=imresize(imfilter(img1,w),[m/2 n/2]);  
5. img3=imresize(imfilter(img2,w),[m/4 n/4]);  
6. img4=imresize(imfilter(img3,w),[m/8 n/8]);  
7. img5=imresize(imfilter(img4,w),[m/16 n/16]);  
8. imshow(img1);  
9. figure,imshow(img2);  
10. figure,imshow(img3);  
11. figure,imshow(img4);  
12. figure,imshow(img5);  

注意：这里高斯滤波器用的是3*3大小，而sigma默认为0.5；可以相应调整滤波器大小和sigma的值，获得的效果也不尽相同。用matlab自带的函数也可w=fspecial('gaussian',[n n], sigma )。

[python] view plain copy

 

1. function pyr = gauss_pyramid(I,nlev)    
2.     
3. pyr = cell(nlev,1);    
4. pyr{1} = I;    
5. G_LOWER = I;    
6.     
7. f = [.05, .25, .4, .25, .05];      
8. f = f'*f;    
9.     
10. for l = 2:nlev       
11.     G_LOWER=G_LOWER(1:2:size(G_LOWER,1)-1,1:2:size(G_LOWER,2)-1); %downsample       
12.     pyr{l}=imfilter(G_LOWER,f,'replicate');    
13. end    
14.     
15. end  

       （2）拉普拉斯金字塔
　　在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息，人们定义了拉普拉斯金字塔(Laplacian Pyramid， LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为 LP 分解图像。
将Gl内插方法得到放大图像*Gl，使*Gl的尺寸与*Gl-1的尺寸相同，即放大算子Expand

该式子实现两个步骤：在偶数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和l-1层一样大小的图像。

         N为拉普拉斯金字塔顶层的层号LPl是拉普拉斯金字塔分解的第L层图像。由LP0，LP1、LP2…LPN构成的金字塔即为拉普拉斯金字塔。它的每一层L0图像是高斯金字塔本层G0图像与其高一层图像G1经内插放大后图像*G1的差，此过程相当于带通滤波，因此拉普拉斯金字塔又称为带通金字塔分解。
　　内插方法：opencv中有实现的函数pyrup。可以得到*G1。然后在两个函数作差，相减就可以得到拉普拉斯金字塔。

图解gauss、laplace金字塔的构成：

　　求得每个图像的拉普拉斯金字塔后需要对相应层次的图像进行融合，具体的融合规则有，取大、取小，等等。

图像拉普拉斯金字塔(laplacian pyramid)并从金字塔重建原图 matlab程序实现

      （3）重构
    　对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，可以恢复其对应的高斯金字塔，并最终可得到原图像G0。就是从最高层开始使用内插的方法。

2.2、融合应用
　　图像拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上，融合过程是在各空间频率层上分别进行的，这样就可以针对不同分解层的不同频带上的特征与细节，采用不同的融合算子以达到突出特定频带上特征与细节的目的。即有可能将来自不同图像的特征与细节融合在一起。
3 、梯度金字塔融合

未完待续。。。。。

参考：

http://m.blog.csdn.NET/article/details?id=42128923  小波图像融合综述

http://blog.csdn.Net/chenyusiyuan/article/details/1888808  小波图像融合的Matlab实现示例（添加图片演示080428）

http://www.cnblogs.com/silence-hust/p/4193208.html  图像融合（三）-- 拉普拉斯金字塔

http://blog.csdn.net/abcjennifer/article/details/7628655   图像拉普拉斯金字塔融合（Laplacian Pyramid Blending）

http://blog.csdn.net/xiaojidan2011/article/details/8099433  基于小波变换的图像融合

http://blog.csdn.net/shiningdove/article/details/6784527  用于图像融合的两种方法

http://eric-yuan.me/image-pyramids/      Image Pyramids （opencv 实现）