An iterative image registration technique with an application to stereo vision笔记

【摘要】 主要讲了图像配准的一种方法–利用图像的空间强度梯度和牛顿迭代法找到好的匹配。此方法更快（仅从较少的匹配中筛选）且适用于旋转、尺度、裁剪等变换。

【简介】 图像配准在计算机视觉中的图像匹配，模式识别和运动分析中应用广泛。但是现存的方法代价大且不能处理旋转或者其他变形的情况。

提出了一种新的技术–采用空间强度梯度信息找到最佳匹配。这样就可以利用更多图像信息找到两幅图的最佳匹配。这种方法比按固定顺序计算可能的配准位置需要比较的次数更少。此法利用了许多应用中两幅图已经近似配准了，且可以处理任何线性形变。最后介绍了其在双目视觉系统中的应用。

【配准问题介绍】
给定函数F(x)和G(x)，分别表示各自在两幅图中的像素值，x是个向量。要求一个视差矢量h，使F(x+h)和G(x)的某些距离测度最小，其中x是R中的一些区域（难道不是R的全部？）。如图1

三种典型的距离度量：

本文将提出一种更一般化的图像差度度量方法，L2 norm和归一化相关都是该方法的特例。L1 norm可以看做是L2 norm的一种合理逼近。
【现存技术】

1. 一种最显而易见的配准方法就是穷举搜索h的可能值空间，计算其距离。但非常低效。
2. 爬山法。根据上次的h计算其附近可以使函数值下降的h作为下个h值，这样迭代。但可能会陷入局部最优。
3. 序贯想相似性检测算法（SSDA）。SSDA通过人为设定一个固定阈值，及早地终止在不匹配位置上的计算，以此减小计算量，达到提高运算速度的目的。选取一个误差准则，设定一个不变阈值。在子图象中随机选取一点，计算它与模板中相应点的绝对误差值， 将每一随机点对的误差累加起来，若累加到第r次时误差超过设定阈值，则停止累加。停止准则主要由这个固定阈值和累加次数r。
4. 一些配准算法采用了一种由粗到细的策略。先用上面的某种方法在低分辨率下找到最佳配准，然后将其作为高分辨率中的可能匹配位置的约束。一些利用金字塔的图像理解系统采用了这种方法。

上面这些方法有些可以互相结合使用。爬山法和穷举搜索只解决了如何找到最佳匹配，SSDA解决了计算差异函数的方法。因此，可以用SSDA和爬山法或者穷举搜索结合，也可以用由粗到细策略。

本文介绍了搜索h空间的顺序。具体讲，先确定一个初始h，再用每一点的空间强度梯度修正当前h，直到达到最优匹配。迭代过程采用的是牛顿迭代法。该配准方法可以和coarse-fine策略结合。
【配准算法】
本节先介绍一种针对一维配准问题的直接方法，再介绍另外一种可以推广到多维的方法。然后介绍怎么将此技术推广到其他类型配准。最后讨论算法应用和性能。

1. 一维问题
如下图，我们希望在F(x)和G(x)=F(x+h)之间找到一个水平视差h。

和后文的方法一样，解决方法是根据对x附近的F(x)进行线性逼近。对于很小的h，

当h足够小，逼近就可以写成等号。后面会介绍通过平滑图像扩大h的范围，这样就可以直接写等号了。
将x一点的情况推广到多点：

当F(x)接近线性时，(1)线性逼近得很好；反之当|F”(x)|很大时则逼近不好。根据这个关系，可以对公式3进行改进，再根据公式(4)，可以设计一个计算权重的方法，就是公式(5)。|F”(x)|越小，权重越大。从图2可以看出，当x为两条曲线交叉点时，按(2)算出的h是0，但是因为此时G’(x)和F’(x)的差很大，所以权重很小，这就符合逻辑了。最终的h是公式(6)。



得到h的估计值，就可以将F(x)移动h的距离，重复这一过程得到一系列的牛顿迭代（对比牛顿迭代法，这里不是很懂）。理想情况下h会收敛到一个最优值。迭代表示为

2. 另一种推导
上面的推导不能直接推广到二维情况，因为二维线形逼近形式不同。另一个原因是(2)中分母可能为0。因此，将(1)改为

要求E关于h的最小值，其中E为

对其求导，令为0

求得h

这个除了权重系数为和公式(6)基本相同。当且仅当对任意x,F’(x)=0时，分母为0，而此时h没有定义。
对应的迭代公式

3. 性能
相比于没有权重的方法，该方法能在更广的范围更快收敛。

4. 应用
应用时要计算(10)中的微分，对于F(x),可以用下式，G(x)类似

5. 推广到多维
此时E和F变为


其中x是向量

求导后令其为0，得到h

在高分辨率图中，此时可以计算更少的h值。

6. 继续推广
以上只是在平移变换中应用，下面介绍在更复杂的线性变换中的应用。此时，变换可表示为下式，其中A是线性空间变换矩阵

E变为

为了调整A和h，用线形逼近

此时，E关于要最小化的量又变成二次的了，求其导数再令为0，可以得到一组方程。
这个推广在应用，特别是双目视觉中很有用。对双目视觉中的差异建模，若暂时不考虑配准，可以得到

将此融合到一半线性变换配准问题中，得到差异函数

针对此式中的不同参数情况，可以得到不同的问题。

本文是笔者在学习LK光流算法时看到的一篇参考文献，因此后文应用部分略去。