三维重建过程与算法介绍

一、图像预处理

 图像预处理的目的在于改善图像的视觉效果，提高图像的清晰度，有选择的突出某些感兴趣的信息，抑制  无用的信息，以提高图像的使用价值。

 

 图像平滑处理：中值滤波、形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自适应加权滤波。

 有关的改进方法：椒盐噪声过滤算法：GA-BP神经网络噪声检测的自适应滤波算法。

                                       遗传算法：Genetic Algorithm  GA

                                       反向传播神经网络：Back BP   BP

二、特征点检测与匹配

  特征点问题主要包括特征点的提取和特征点的匹配。特征点的通常理解为：某些邻域变化比较大的点。如角点和噪声，因此特征点的     本质问题可以归结为：在抵抗一定的图像畸变的情况下，保证特征点的正确提取和匹配。 

特征点提取的方法：

1. 加权平均Harris-Laplace特征点提取算法。

   使用harris角点算子存在很多误检。此方法对harris方法有一定改进。

2. 基于SIFT算子的特征提取算法。尺度不变特征转换 SIFT(Scale-invariant feature transform)用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。该算子具有对图像旋转、缩放、光照变化和仿射变换保持不变性的特点。SIFT方法的主要思想为：首先建立高斯差分金字塔表征，然后将每个像素点与它周围的八个点，以及上下相邻层的十八个邻域点，总共 26个点作比较。如果该点是极值点，那么就认为该点为特征点，同时计算出该特征点的主方向。由此，就可以将特征点提取出来了。

3. 基于SURF算子的特征提取算法。加速鲁棒特征（Speeded-Up Robust Features）借鉴SIFT简化思想，借助积分图和harr小波技术的使用，使模板对图像的卷积可以通过加减运算在线性时间内完成。经实验证明，SURF的检测效率要明显高于算法，且具备较优的综合性能。目前SURF算法在特征提取与匹配邻域比较流行。 

特征点匹配方法：

1. NCC特征匹配

   归一化互相关（normalizes cross correlation）方法的优点是它可以抵抗全局的亮度变化和对比度变化，并且速度快。

   缺点是：(a)不抗图像缩放。(b)不抗大的视角的变化。(c)当初始匹配点的错误匹配率高于 40%的时候以上两种方法失效。

2. SIFT特征匹配

   主要思想是用特征点的 16×16的邻域计算该邻域的每个点的梯度。然后将 16×16的区域划分为 4×4的小区域，每个小区域的点向 8个方向投影。这样总共可以得到 4×4×8=128维的特征向量描述符。特征点的匹配首先需要将特征点旋转到它的主方向上，然后计算匹配点的 128维特征描述符的欧式距离。距离最小的匹配点为正确匹配点。

3. SURF特征匹配

   与Sift特征点匹配类似，Surf也是通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。不同的是Surf还加入了Hessian（黑塞矩阵）矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，页直接予以排除。

 

三、相机标定

  相机标定就是求出相机的内部参数。最终得到内参数矩阵K。 

         相机标定的方法：

1. Tsai的两步标定方法

   其主要思想是首先利用透视变换原理线性求解出一些相机参数，接着把求得的这些参数作为非线性优化算法的初始值，只考虑相机的径向畸变，通过优化算法求解其余参数，从而相对于线性标定方法提高了标定的精度。

2. 圆点模板标定方法

3. 张正友的平面标定方法

   张正友结合传统摄影测量标定与计算机视觉自标定优势，提出使用简易的平面标定模板，通过多个角度获取的图像间单应关系，高精度高效的求解出相机的内参数与畸变参数。张正友标定方法因其有效性、可靠性和灵活性而得到广泛应用。

4. 相机自标定方法

   相机自标定方法因其不需要额外的已知信息而具有极大的灵活性，受到广泛的关注与研究。常见的方法有：直接求解Kruppa方程的自标定法、分层自标定法和基于绝对对偶二次曲面标定法。目前应用最广泛的为利用绝对对偶二次曲面的标定方法。

四、计算基础矩阵与本质矩阵

    基础矩阵是对同一场景的两幅图像间约束关系的数学描述，是在未标定图像序列中存在的几何结构约束信息，隐式的包含了相机的所     有内外参数。

基础矩阵计算方法：

1. 归一化点算法

   该方法可以降低噪声的干扰，减小系数矩阵条件数大小，从而提高解算精度。

2. RANSAC算法

   随机抽样一致性算法RANSAC（Random Sample Consensus）可以在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优模型的点，被定义为“外点”。

 

假设内参矩阵分别为K1和K2的两幅图像之间的基础矩阵为F，由此可以求得它们之间的本质矩阵：E=k2^TFK1。接着对本质矩阵进行分解（SVD分解方法），得到旋转矩阵R和平移向量t。然后计算出两幅图像的投影矩阵P1和p2.利用投影矩阵获得空间三维点的坐标。

 

五、稠密点云的网格化

通过上面的步骤可以得到基于图像的三维点云，但要对空间物体的表面信息进行重构，需要对三维点云进行三角剖分。

  三角剖分目前比较流行的点云网格化方法，其方法分为2种：

1. 平面投影法

   采用投影映射的方法，将三维点云投影到二维平面上，接着对投影后的二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分。

2. 直接剖分法

   三角剖分所给点集R，保留原始点云的拓扑结构，实际上是对R的线性插值。根据上述可知，直接剖分法比较繁琐。

    得到三维场景的大致模型之后，为了获得更加逼真的效果，还需要做一步纹理映射工作。纹理映射，简单来讲就是贴图，将摄像机拍摄出  的图像中选择其中一幅最合适的，将该图上场景的纹理，映射到三维模型中。