图像拼接的基本流程及关键技术

转自：http://blog.csdn.net/Vast_Sea/article/details/8197311

图像拼接的基本流程

(1) 图像预处理：对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像
处理的基本操作，为图像拼接的下一步作好准备。

(2) 图像配准：图像配准是整个图像拼接流程的核心，配准的精度决定了图像的拼接质量。其基本思想是：首先找到待配准图像与参考图像的模板或特征点的对应位置，然后根据对应关系建立参考图像与待配准图像之间的转换数学模型，将待配准图像转换到参考图像的坐标系中，确定两图像之间的重叠区域。精确配准的关键是寻找一个能很好描述两幅图像转换关系的数据模型。

(3) 图像合成：确定了两幅图像之间的转换关系模型，即重叠区域后，就需要根据重叠区域的信息将待拼接图像镶嵌成一个视觉可行的全景图。由于地形存在微小差别或拍摄条件不同等因素造成图像灰度（或亮度）差异，或者图像配准结果仍存在一定配准误差，为了尽可能地减少遗留变形或图像间的亮度（或灰度）差异对镶嵌结果的影响，就需要选择合适的图像合成策略。

目前，国内外学者提出了很多图像配准的方法，但是各种方法都与一定范围的应用领域有关系，具有各自不同的特点。它们一般由四个要素组成[9]：特征空间、相似性度量、搜索空间和搜索策略。

(1) 特征空间(feature space)
特征空间是从图像中提取的用于配准的信息。特征可以是图像的灰度值，也可以是边界、轮廓等结构特征，或是角点、高曲率点等显著特征，亦或是统计特征、高层结构描述与句法描述等[9-11]。

(2) 相似性度量(similarity metric)
相似性度量是度量配准图像特征之间的相似性。典型的相似性度量有灰度相关、相关系数、互信息等。基于图像特征配准算法，常采用的相似性度量一般建立在各种距离函数上，如欧式距离、街区距离、Hausdorff 距离等。特征空间代表参与配准的数据，相似性度量决定配准度，二者的结合可以忽略许多与配准不相关的畸变，突出图像的本质结构与特征。

(3) 搜索空间(search space)
图像配准问题是一个参数的最优化估计问题，搜索空间就是指所有可能的变换组成的空间，即待估计参数组成的空间。搜索空间的组成和范围由图像变换的类型和强度决定。图像变换分为全局变换和局部变换。全局变换将整幅数字图像作为研究对象，用一个参数矩阵来描述整个图像的变换参数，常见的全局几何变换有仿射变换、投影变换和非线性变换等；局部变换允许变换参数有位置依赖性，即各个单元的变换参数随其所处位置不同而不同。配准算法就是要在搜索空间找出一个使图像之间的相似性度量最佳的位置。

(4) 搜索策略(search strategy)
搜索策略是指在搜索空间中采用合适的方法找出平移、旋转等变换参数的最优估计。这对于减少配准特征和相似性度量的计算量具有重要意义。图像间的变换越复杂，搜索空间就越复杂，对搜索策略的要求就越高，因此选择合适的探索策略至关重要。常见的搜索策略有穷尽搜索、启发式搜索、广义Hough 变换、多尺度搜索、树与图搜索、序贯判决、线性规划、神经网络、遗传算法、模拟退火算法等等。每种方法都有它的优缺点，在很大程度上，搜索策略的选择取决于搜索空间的特性。

设计配准算法时首先确定图像的类型和成像畸变范围，然后根据图像配准的性能指标确定特征空间和搜索空间，最后选择合适的搜索策略找到能使待配准图像之间的相似性度量最大的最佳匹配关系模型。根据上述四个要素的不同选择，产生了各种具体的图像配准技术的不同分类方法。目前提出的用于图像配准的算法可以分为三大类型：基于区域灰度相关的匹配算法、基于特征相关的匹配算法和基于解释相似的算法[12]。图像配准技术经过多年的研究，每类方法中都包含了不同的具体实现途径以适应具体问题。其中，基于解释的图像匹配需要建立在图片自动判读的专家系统之上进行，至今尚未取得突破性的进展。