关于三维重建过程框架的研究

       研究生第一个学期已经结束了，目前的研究方向是基于无人机平台的三维重建，几个月的摸索下来，基本上对三维重建的基本过程有了大致的了解，有啥技术有啥难点也都心里有数。说实话，研究生的研究过程确实很辛苦，需要自己摸索，找线索，将网上大量的资料和信息进行提炼，找到自己想要的东西，反反复复，螺旋式上升。进入一个全新的领域真的是要付出许多时间和精力才能逐渐的找到正确的方向，我写这篇文章的目的其实可以看我上一篇文章，主要是分享这个历程，让更多刚进入这个领域的同学能够找到一点方向，能够一起多交流。这篇文章会一直更新下去，记录所学所想，有图有代码，一直到研究生毕业，也算是记录下这个艰辛却又充实的过程吧。本人水平有限，望多批评指正！

一、三维重建整个过程的框架

       导师常常对我说，研究某个东西要参与到其全过程之中，我们研究一个全新的领域，也应该首先对其有一个宏观上的认识，知道其中的大模块，在总体上对其有一些感性认识。这里大家可以参考《基于多幅图像的三维重建理论及算法研究》（戴嘉境）的论文框架，同时我根据自己的理解，进了一些调整与修改，注意以下内容均为概要，详细的内容将在第二章开始介绍，主要如下：

（一）图像预处理

       由于我是基于无人机的三维重建，所获得的航拍图像往往有不少的问题，如畸变、噪音等，因此图像预处理阶段主要是对图像进行筛选、去噪、校正的一个过程。这里需要提到的是基于倾斜图像的三维重建技术，主要是通过一个五轴的立体相机来进行航拍，再利用所得到的倾斜图像来进行三维重建，一般都用于建筑群、城市等户外的场景，而这也是我在后续需要继续研究的内容。

（二）稀疏点云重建

       在三维重建领域，基于点云数据的重建方式是相当成熟的，本文也是基于此技术进行研究。通过下图（实物为笔芯盒）就可以对点云有一个大致感性认识了，即将三维实体使用一系列的三维空间点来表示，现在对于这种点云数据的获取，主要通过激光扫描以及通过相关算法对图像进行分析得到，我所研究的是后者。 所谓稀疏点云，其来源即为特征点，而特征点即为图像中一些特征明显、便于检测、匹配的点，如建筑物的角、边缘点等。特征点的检测是整个三维重建过程中最为基础、根本的一步，其检测效果的好坏对最后的结果有很大的影响，现在常用的检测算法有SIFT、SURF等。

        放大后更加明显：

       在检测出每张图片所有的特征点后，就需要对对应的特征点进行匹配，在这个匹配的过程中，需要完成相机的标定，完成这一步的意义在于在后面能够通过标定的结果，将图像中二维数据点反推出其三维位置，由此就能将所有的二维特征点反推至三维空间，形成稀疏点云。这一步所使用的技术主要为SFM（Structure from motion）。

（三）稠密点云重建

首先看下图，体会一下稀疏点云和稠密点云之间的区别：

稀疏点云：

同一物体的稠密点云：

       稠密点云的生成主要使用到了PMVS（Patch-Based Multi-View Stereo Software ，基于面片的三维立体重建算法）这一技术。形成稠密点云后，实物的轮廓、特征等都有了明显的改善，基本可识别。

（四）表面（曲面）重建（Surface Reconstruction）

       稠密点云虽然能够更加形象地还原出实物面貌，但是其仍只是大量孤立的三维空间的集合而已，要想实现真正的实物三维化，那就必须要对其进行表面重建，这里首先需要去了解Delaunay三角化的相关概念和原理，然后学习Power Crust算法，这个算法较为复杂，需要多花点时间去学习。

（五）纹理映射

       在对点云数据进行表面重建之后，实物的轮廓、形状已经清晰可见，但是还需最后一步，即纹理映射，纹理映射的作用是使得重建的3D模型更接近实物，具有实物的颜色、纹理以及细节特点。

       以上五步即为三维重建的主要过程，只是一些大概的思路，能让大家知道全过程的框架即可，且我提到了我所需要研究的技术，其他相关技术并未提及，一是研究不够，二是不想让新手看得云里雾里，大家可以学习的时候自行选择其他的相关技术。本文后续即将对以上五步进行详细的阐述，一边学习，一边反思！望批评指正！

第二章 图像预处理

《图像的获取与预处理研究》（暂未更新）

第三章 稀疏点云重建

《稀疏点云的重建研究》

----------待更新，2017.2.5