算子

1.SIFt算子

SIFT算子是David G Lowe在2004提出的，即尺度不变特征变换(Scale Invariant Feature Transform)。它是以尺度空间的构造为基础的局部特征描述算子，对于图像的缩放、旋转和放射变换等具有不变性。SIFT算子在构建好的尺度空间的基础上搜索尺度空间中的极值点(特征点)，然后确定极值点的尺度信息以及位置，再确定极值点的方向(其邻域梯度的主方向)，最终可以得到具有鲁棒性的128维(4*4*8)的特征描述子。

2.surf特征

SURF（Speed-Up Robust Features）算子选取图像在尺度空间上的极值点作为候选特征点。与SIFT算子不同的是SURF算子采用Hessian矩阵行列式近似值来构造金字塔。提取SURF特征点需要4个步骤：提取SURF特征，对于特征点进行定位，赋予主方向，生成特征点描述符。

3.    BRIEF特征

BRIEF特征(binary robust independent elementary features)是Calonder等在2010年提出来的，他采用二进制字符串作为特征点描述符，因而在速度和性能上都有着卓越的表现。其主要思路是：在特征点附近随机的选取若干点对，将这些点对的灰度值大小组合成一个长为256的二进制字串，并将这个二进制字串作为该特征点的特征描述子。由于其描述子利用二进制（“0”和“1”）编码，因此在特征匹配时只需计算2个特征点描述子的Hamming距离。大量实验表明，不匹配特征点的描述子的Hamming距离在128左右，匹配点对描述子的Hamming距离则远小于128。由于BRIEF的匹配速度远高于SURF和SIFT，因此应用较为广泛。

BRIEF特征描述符是一个bit串，有若干个二值 测试组成，即影像块 (尺寸为 )经过平滑后再进行若干 测试。

其中，影像块 在x处的灰度值定义为 ，特征描述符为一个长度为 的二进制串：

   

这里有两点要注意：1）如何选取内核对图形进行平滑处理（预处理）；2）如何选择测试点对 。这里有多种描述形式进行描述测试点对的分布类型，其中效果比较明显的是与选取的影像块 成高斯分布，再生成72维的特征点描述符。在做平滑处理时有中值滤波、均值滤波和最小方差滤波等可以使用，一般高斯滤波比较常用。

为了保证描述符的旋转不变性，需要先对 点测试坐标进行旋转，使其旋转到特征点的方向上，接下来再利用BRIEF特征描述符进行计算：

                             

其中以 角形成的旋转矩阵定义为： ，再让测试点对与旋转矩阵进行计算来进行旋转： ，那么旋转后，计算特征描述符可以采用如下计算方式： 。

然而在进行坐标旋转后，坐标一般就变为了浮点型，此时我们要对图像进行重采样，可以使用的方法有最近邻方法、双线性内插方法、立体卷积方法等。其中最近邻方法计算简单，它采用待采样点周围4个相邻的像素点中距离最近点的灰度值作为该点的灰度，这样仅仅考虑到了一个点的灰度值，没有考虑到其相邻区域内的像素点的影响，所以重采样后图像灰度值就会有明显的不连续现象。另外立体卷积的方法计算量过大，在实时性方面有些困难。对于待采样点的灰度值，其采用周围的4个临近点的灰度值，然后在两个方向上做线性内插，从而得到带采样点的灰度值

4    ORB特征

ORB算子[57] (Oriented FAST and Rotated BRIEF)是Rublee等在2011年提出来的，是建立在改进的FAST特征和改进的rBRIEF特征之上，由于FAST特征和BRIEF特征的运算速度都很快，则ORB在运算速度上比SIFT和SURF等拥有绝对优势。

但由于BRIEF不具有旋转不变性，因此很难用于旋转剧烈的场景，不过上文中我们已经给出了解决办法。为了使BRIEF具有旋转不变性，Rublee等在2011年提出了ORB(oriented brief)特征，在尺度变化不太大的环境中，ORB特征在SLAM系统中取得了了大量的应用，有时候我们的实际场景中比如带有机器的室内外场景中，这些机器可能其景深变化非常剧烈，这种特征描述子就会受到一定程度的限制。也就是ORB解决了BRIEF的不具有旋转不变性和对噪声敏感的缺点，但ORB没有解决尺度不变性。ORB算法的大致步骤如图3-12所示：

BRIEF特征向量的每个比特（bit）具有的方差和的均值接近0.5。而加入特征点的主方向后，特征向量的比特位分布就变得比较平均了，故其方差变小了，这导致特征之间的差异性变小，区分性能变差，因此，主方向引导后BRIEF后的性能有所下降。为此要从矩阵 中筛选出具有高方差和高不相关的点对 。具体方法是：对PASCAL2006图库上的图片，建立一个包含300k个关键点的训练集，每个 测试选取以关键点为中心的 的邻域，并且使用 的子窗口来代替原BRIEF中的单个像素进行灰度值比较，从而降低噪声干扰。令邻域宽度 ，子窗口宽度 ，则共有个测试点对，其中 。为消除重复的测试，当进行了M=205590次测试后，贪婪算法终止。

这个算法是在均值是0.5附近的不相关的测试集合上进行贪婪算法搜索。下图中的组图是经过旋转后具有高相关性的采样模式，右图是经贪婪学习算法后，降低了相关性的采样模式，其中最右边条形图的上端黄色代表具有高相关性的颜色，低端黑色代表具有最低相关性的颜色。

5.      特征描述符性能评价

这里介绍的特征描述符，已被证明为比其他的相对优秀一些，在实际的系统中应用较多。在单目SLAM中，跟踪部分是需要实时性的，这里我们为了模拟被不确定度影响的位姿估计跟踪系统，限定匹配搜索范围以当前描述符位置为圆心的一个圆形区域 ，只为每一个描述符与前一帧图像中落入该区域所有的描述符进行匹配。该搜索圆的半径设置为80像素（pixel），原因是如果模拟两帧跟踪器，若假设一个像素的运动很小，那么运动模糊可能会导致跟踪失败。搜索范围的尺寸与系统本身固有的不确定度相关，因此是独立于所使用的检测器/描述符类型的。

其中 为正确匹配对数， 为误匹配对数。当然也可以使用其他的标准，比如召回率或者前 个最近邻的精度。一个标准是否相关取决于所使用的匹配策略，而绝大多数的实时跟踪系统只评价