GMS快速高鲁棒性特征学习

优点：

加入平滑约束项的特征匹配具有高鲁棒性匹配效果。

该文章提出GMS：一种简单方法封装运动平滑来作为数据估计区域中一个确定数量的匹配。GMS可以将高数量匹配转换成高质量匹配。这实现了一种实时，高鲁棒性的系统。对于计算的视频，要求具有低纹理，低模糊。

特征数也影响质量。找更多的特征比找新的描述子要简单。特征匹配是许多计算机视觉算法的基本输入。因此，它的速度、精度和鲁棒性至关重要。目前，各种性能之间:强大的特征的匹配和更快的（但往往不稳定）仍是需要考虑的问题。

中心问题是相干约束（相邻像素共享相似运动）在更强大的特征对应技术中的应用。一致性是一个强大的约束，但稀疏的特性缺乏定义良好的邻居。这将导致基于相干的特征对应既昂贵又复杂。本文提出了GMS（网格运动统计），封装运动平滑作为统计有一个区域对之间的特征匹配一定数量的可能性的一种手段。我们表明GMS能够快速可靠地区分真实和错误匹配，从而实现图1中的高质量通信。

我们的论文从BF获得灵感。BF强调，明显缺乏特征匹配并不是因为正确匹配的次数太少，而是因为可靠地分离真与假匹配的困难。BF证明了使用一个复杂的最小化的相干度量实现这种分离的可行性。在实践中，BF很好（尽管缓慢）。然而，它主要是由观察和直觉驱使的。由于缺乏理论上的清晰性，研究人员必须依赖于许多波动因素对图像数据的实证检验，这使得改进变得困难。

使用的复杂平滑约束的作用：运动平滑导致不太可能随机出现的对应簇。因此，可以通过简单地计算邻域内的匹配数来区分真与假匹配。从大数定律，真实和虚假的尺度与匹配数无限的partionablity。数学分析是直接的，但结果可能是范式转换。

先前的特征匹配论文假设匹配质量主要随特征不变性/显著性的提高而增大。GMS揭示了改进的新方向；原始特征数也会影响质量。由于发现更多的特性比设计新的描述符更简单，GMS可能为以前难以解决的匹配问题提供简单的解决方案。

1.将运动平滑约束转化为剔除虚假匹配的统计测度。我们显示这个约束使匹配以前难处理的场景；

2.开发一个高效的基于网格的分数估计可以纳入实时特征匹配；

3.证明用标准比率测试，GMS系统明显优于传统的SIFT、SURF和最近的CNN trained LIFT features。

特征匹配的基础工作试图提高特征描述符的显著性/不变性，并改进局部化。例子包括经典的作品如SIFT、ORB 、 SURF、A-SIFT，Harris角点和仿射协变区域探测器。 
 这些作品中有许多GPU加速允许真正（或接近真实）的时间性能。此外，还有FLANN作品加速特征匹配。这些研究仍在进行中，最近的例子是使用CNN trained LIFT descriptors。这些作品一起构成了我们所构建的核心技术集。

唯一依赖描述符的问题是区分真与假匹配的困难。这样就消除了很大一部分真实匹配，从而限制了假匹配。RANSAC可以利用几何信息来缓解这个问题。然而，RANSAC算法本身需要最错误的匹配预先消除不能容纳所有的近邻集误匹配的数量相匹配。

更普遍的是，该文章的工作是基于光流相关，相干技术，基于块匹配的匹配，直接使用平滑帮助匹配估计。这些技术可能非常强大。然而，它们也更加复杂和昂贵。最后，我们认识到，从AdaBoost这样的学习者身上得到的启示，将多重学习者融入到一个强大的学习者身上。GMS通过使用平滑约束来集成多个匹配的信息，从而做出高质量的决策，从而共享了这种设计理念。

给定一对从同一三维场景的不同视图拍摄的图像，特征对应意味着一个图像中的像素（特征点）被标识为另一个图像中的相同点。如果运动平滑，相邻像素和特征一起移动。这使我们能够作出如下假设：

运动平滑产生一个（小）邻域周围的真实匹配对应相同的三维位置。同样，一个错误匹配对应不同的三维位置。

这里的邻域被定义为一对区域。假设1意味着真正匹配的邻域，查看相同的3D区域，从而在两个图像中共享许多相似的特性。在相邻结果区域中有许多支持的匹配。与此相反，伪匹配邻域查看不同的3D区域，具有相似的特征少得多。这减少了匹配支持。我们将这种算法封装成一个称为GMS的统计框架，它可靠地区分真假匹配。

结果：

最近邻匹配趋于完善，MT趋于最大值，MF，其最小达到局部最优。因此，如果设置一个固定的阈值，GMS的结果将更好地在更容易的场景与高T值。这是未知和场景依赖t重要性。它还增加了GMS的通用性，允许它扩展特性描述符设计的改进。

编译细节

使用opencv的ORB特性。特征号固定在10000，是实时性能允许的最大数量。大型，纹理良好的图像可以有超过10000个功能。这会导致特征分布不均（聚集在一个角落）。纹理较小的图像可以有少于10000个不同的特征。前者的问题是调整所有图片480×640解决。 
 后者通过设置快速特征阈值为零。这允许在弱纹理环境中匹配（参见附带的视频）。最近邻在GPU上用brute-force汉明距离比较发现。这与基于CPU的特征检测并行运行。这是两个开销最大的模块。最后，真正的匹配是通过GMS算法筛选出的。这一步需要1ms的单线程的CPU时间。

实验采用6个低纹理、模糊的视频序列进行测试。

实验的精确率、召回率如下图所示：

图中红蓝虚线为该算法。可以看出本文的精确度、召回度远高于其他算法。

该算法在处理视频时，使用GPU进行计算，可达到每秒27帧。