基于尺度不变特征变换的图像匹配研究

摘  要：图像匹配是计算机视觉和图像处理中的一个基本问题，文章在回顾图像尺度空间相关给年的基础上研究了基于尺度不变特征变换的图像匹配技术，设计图像匹配仿真系统，验证了其尺度，旋转不变性和抗噪声干扰能力。

关 键 词：　图像匹配;尺度不变特征;尺度空间;特征提取

Abstract：Image matching is a fundamental problem in both computer vision and digital image processing. In this paper after reviewing some concepts in image scale space, we study the technology image matching based on scale invariant feature transform, design the simulation system of image matching, and validate the performance of scale-invariant, rotation-invariant and anti-noise.

Keywords: Image Matching; Scale-Invariant Feature; Scale Space, Feature Extraction

1         引言

图像匹配是图像处理和计算机视觉领域的一个基础问题，它源自多个方面的实际问题。如不同传感器获得的信息融合，图像的差异监测，三维信息获取等等。简单说来图像匹配就是将统一场景的不同图像“堆砌”或进行广义的匹配。图像匹配的核心问题在于将不同的分辨率、不同的亮度属性、不同的位置（平移和旋转）、不同的比例尺、不同的非线性变形的图像对应。

在图像匹配的研究方面，匹配方法基本分为以下三类：基于区域相关的匹配，基于快速富立叶变换的匹配和基于特征的匹配。其中基于特征的匹配因其计算量小，对噪声不敏感和能够获得精确匹配而成为研究重点。选取的特征一般包括图像边缘和角点。但是这些特征一般不具有尺度不变性，为了获得具有良好尺度不变性的图像特征，David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－尺度不变特征变。2004年Yanke提出基于PCA的尺度不变特征变换进一步减少了计算量。

本文在回顾图像多尺度分析和尺度理论的基础上，重点研究尺度不变特征变换算法和基于尺度不变特征变换算法的图像匹配算法，最后对尺度不变特征变换的旋转不变性和抗噪能力进行了分析。

2         图像尺度空间

尺度空间理论是通过对原始图像进行尺度变换, 获得图像多尺度下的尺度空间表示序列, 对这些序列进行尺度空间主轮廓的提取, 并以该主轮廓作为一种特征向量, 实现边缘、角点检测和不同分辨率上的特征提取等。Koendetink和Lindbergh在文献中证明高斯卷积核是实现尺度变换的唯一变换核。

一幅二维图像，在不同尺度下的尺度空间的表示可由图像与高斯核卷积得到： ，该式中， 代表图像的像素位置， 是二维高斯卷积核。 称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。 代表了图像的尺度空间。

DoG(Difference -of-Gaussian)算子定义为两个不同尺度的高斯核的差分，其具有计算简单的特点，是归一化LoG (Laplacian-of-Gaussian)算子的近似

可以证明 ，这表明：当高斯差分函数通过常数因子 进行尺度差分时，它已经合并了 尺度规范化拉普拉斯尺度不变性。

3         尺度不变特征变换

尺度不变特征变换(SIFT)算法首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。主要计算步骤如下：

1)              尺度空间极值检测：搜索整个尺度和图像位置。通过使用高斯差分函数确定对尺度和方向具有不变性的兴趣点。以初步确定关键点位置和所在尺度。

2)              关键点定位：在每一个候选位置，详细地模型拟合以确定位置和尺度。根据稳定性选择关键点。通过拟合三维二次函数以精确确定关键点的位置和尺度，同时消除低对比度的关键点和不稳定的边缘响应点(因为高斯差分算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

3)              方向分配：每一个关键点根据局部图像梯度方向分配一个或多个方向。其后所有操作都根据分配的方向、尺度、位置。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

4)              关键点描述符：在每个关键点周围在选定的尺度下测量局部图像梯度。为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的SIFT特征向量

尺度不变特征变换算法提取的SIFT特征向量具有如下特性：

a) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定；

b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。

c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。

d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。

e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。

4         基于SIFT的图像匹配

以上我们介绍了基于尺度不变特征变换的图像特征量提取，下面我们根据以上特征实现图像匹配。对于实现特征提取的两幅图像，可以进行如下匹配操作：当两幅图像的SIFT特征向量生成后，下一步采用特征向量的距离作为两幅图像中关键点的相似性判定度量。有多种距离可以衡量两个特征之间的差别，这里我们选用欧氏距离进行计算。

算法步骤：

一．            设对于两幅图像提取得到的特征向量集合为 ，预先设定比例门限 ，。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定，这里我们取比例阈值为0.6。

二．            对于第一副图像的特征向量 ，计算其与第二幅图像特征集合 中每一个特征向量的距离，得到距离集合 ；

三．            对距离集合中元素按照大小进行排序，得到最小距离 和次最小距离 ；

四．            通过比较 和 的比例关系，判决匹配关系。如果 ，确定匹配关系，否则没有匹配关系。

5         实验结果与分析

为了验证本算法的效果,我们以2 幅图像进行实验,图像大小为758×568 ,如图1 所示。实验条件为: PIV 2.80 G,512M ,采用Matlab7.0.4编程,操作系统为WINXP。

实验结果如图1所示，从中可以看出对于两幅视角不同的自然场景图像，上面两图显示了尺度不变特征变换提取的图像特征（以箭头表示），下图为对应点直线联结表示的匹配关系。

正如本文讨论的，SIFT即尺度不变特征，由于该特征是在尺度空间寻找极值得到的，因此具有良好的尺度不变性，另外在特征提取中进行了特征的方向无关性变换，因此具有一定的旋转不变性。下面我们对自然场景图像进行旋转变化，进行噪声干扰，考察SIFT特征的旋转不变性和抗噪性能。旋转不变性测试结果如表1所示。

 

  

 

 

 

 

表1．旋转不变性测试结果

旋转角度

特征数量

匹配特征

正确匹配

正确率

0

3486

3486

1838

52.7%

5

3748

1611

797

49.5%

10

3647

1450

705

48.6%

20

3467

1586

777

48.9%

30

3589

1730

840

48.6%

60

3573

1670

822

49.2%

90

2995

2261

1132

50.1%

图1. 尺度不变特征变换特征提取及图像匹配结果

从表1测试结果我们可以看出正确匹配率与图像旋转角度大小基本没有关系，正确匹配率基本保持在50%左右。

       实际图像获取过程中总要受到噪声的干扰，常见的噪声模型一般是高斯噪声模型和椒盐噪声模型。一个好的图像匹配算法必须具有良好的抗噪性能。

采用图1所示自然场景图像，我们分别施加不同强度的高斯噪声和椒盐噪声，对SIFT匹配算法的抗噪性能进行测试，结果表2所示。

从表2可以看出，在施加高斯噪声的情况下，噪声强度从0.01变大到0.6时，噪声图像中特征数量逐渐减少，而正确匹配率基本没有变化，保持在99%以上；在施加椒盐噪声的情况下，噪声强度从0.01变大到0.6时，噪声图像中特征数量迅速减少，接近指数衰减规律，而正确匹配率基本没有变化，保持在95%以上。这说明SIFT特征具有很好的抗高斯噪声和抗椒盐噪声性能。

表2．高斯/椒盐噪声不变性测试结果

高斯/椒盐噪声强度

特征数量

匹配特征

正确匹配特征

正确率

高斯0.01

2527

617

616

99.8%

高斯0.1

2510

627

624

99.5%

高斯0.2

2494

552

549

99.4%

高斯0.4

1942

253

251

99.2%

高斯0.6

535

25

25

100%

椒盐0.01

2873

1565

1564

99.9%

椒盐0.1

3007

252

252

100%

椒盐0.2

3082

120

118

98.3%

椒盐0.4

2429

45

44

97.8%

椒盐0.5

2119

18

18

100%

椒盐0.6

1918

8

5

62.5%

从以上评测结果，我们可以看出采用尺度不变特征变换（SIFT）提取得到的图像特征不仅具有良好的尺度不变性，而且具有一定的旋转不变性，同时具有良好的抗噪能力，从而为实际应用该特征变换提供了良好的基础。

6         结论

图像匹配在计算机图像处理和计算机视觉中有着重要应用，如何开发具有尺度旋转和仿射变换不变性的特征算子是图像特征提取和图像匹配的核心问题。作为国际最新的尺度不变特征变换（SIFT）具有良好的尺度、旋转和仿射不变性，本文在研究图像尺度空间和多尺度分析的基础上讨论了SIFT特征提取算法，最后给出了数字仿真系统，验证了其不变性。进一步的研究在于如何获得更好的仿射不变性以及设计基于SIFT的图像镶嵌和图像融合，三维重建系统。

参考文献

[1]     吴铮．基于特征的图像匹配算法研究．浙江大学硕士论文．2004

[2]     D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004.

[3]     K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors. In Proceedings of Computer Vision and Pattern Recognition, June 2003.

[4]     Yan Ke, Rahul Sukthankar. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. 2004

[5]     陈白帆, 蔡自兴. 基于尺度空间理论的Harris 角点检测.中南大学学报（自然科学版）2005年10月.