结构光测量初探

        最近一段时间，开始研究结构光3D测量系统，由于以前没有做过图像相关的研究，因此，初来上手还是觉得很是吃力，摸爬滚打了几个月，才算是进入到了入门级别。期间，看了一些论文，也看了相关的很多博客，跟小伙伴们一起做了相关的实验，总的来说，进展是有，但是还需要更深入的研究，才能对图像这个博大精深的领域有一些自己的建树。现先把之前所学的东西总结一下，一方面是为以后深入学习奠定基础，二则，想与众多前辈有一个较好的交流，给我一些意见或者建议。

        看了大牛linuxcumt关于图像处理和计算机视觉的系列博客，觉得总结较好，图像大致分为三个部分，也叫升级的三个层次。

• 首先是最基础的图像处理，主要是对图像的最基本的操作，e.g. 图像压缩，增强，去噪，变换等等，这些是入门图像领域的基础知识，也是修炼上乘武功所需要打下的根基；
• 其次是上升一个层次的图像分析，主要是对图像的内容进行分析，提取特征，根据特征获取感兴趣区域，对图像整体或者局部进行处理；
• 最后就是最上乘武功计算机视觉，让计算机透过人的视觉分析和理解现实生活中的实际场景，同时结合计算机算法，得到人类所无法获取的信息。

        这三方面可以说是涵盖了图像的主要领域，也阐述了学习图像的一个渐进的过程，以及不同层次之间的关系，对于初学者来说能够建立一个图像领域的基本框架。

        我现在所做的学习是介于图像处理和分析之间的层面，是3D结构光测量系统最初的图像预处理阶段。在结构光测量过程中，由于环境光，物体表面纹理，以及光源系统和相机接收系统多方面的因素，拍摄场景中会出现过亮或者过暗的区域，由于一般的8bit相机CCD传感器接收光的能力有限，因此这些区域会在图像上表现出灰度值为255或者接近于0，从而造成了信息丢失，在之后的构建点云中出现了点云丢失，造成物体表面的空洞。因此，需要构建算法，对多纹理，高动态的场景图进行预处理，去除掉过饱和和过灰暗的区域点，使得整体图像像素范围在CCD的接收范围之内。

        图像的高亮和暗面处理一直是图像处理领域的一个研究热点问题和难点问题，对于高亮的金属表面，一般的算法很难很好的恢复出较为精确的模型。世界各地学者们一直在致力于这方面的研究，经过十年多的研究和发展，逐步建立了一些方法用来解决这类问题。目前，解决方法大致分为3种类别，每种类别有各自的优缺点，结合不同的测量场景，可以发挥出各自的优势。

• Exposure Time，调节相机的曝光时间。根据场景色彩高动态的分布性，调节相机的曝光时间，对于高亮的区域，降低曝光时间，对于灰暗的区域，增加曝光时间，在多个曝光时间下拍摄多幅场景图，然后提取各个场景中最有效的部分进行合成，得到最终的合成图。目前来说，这种方法占主要地位，算法整体较为简单，可通过软件调节相机曝光参数，无需对硬件进行额外设置，能够保证系统的标定准确性，得到的效果也比较明显，适合于色彩对比度较大的场景，但是缺点也显而易见，由于增加了拍摄次数，因此增加了时间开支，同时最终得到的是合成图像，因此合成精度也有一定程度的下降。目前，学者们对该类算法进行了不同程度的修改，以用于适应更多复杂的场景。代表学者有Zhang Song(Iowa State University)。
• Fringe Gray Level，调节光栅亮度值。整体的思想类似于调节曝光时间，设置光栅最大峰值为255，之后逐步降低峰值，每一次峰值对应于拍摄一次场景，将每一幅图中未饱和且intensity最大的像素点复制到最终的图片中，直到最终图像中无饱和像素出现。解决的主要场景是高亮表面和色彩范围跨度较大的表面。这种方法一般独立于相机设置，可通过软件改变光栅亮度，硬件设置较少，可保证标定精确度，学者对此方法也进行了发展和改进，最新的方法可以直接选取适合高亮区域的最佳gray level，较之于曝光时间来说减少了算法的时间开销，但是这种方法降低图像的对比度，相应的也降低了图片精度。代表学者Kofman(University of Waterloo)。
• 第三种类别，我总结为硬件相关的算法，这是一个大类，基本上都涉及到硬件系统，如在相机和投影仪之前添加偏振片，滤光片；多角度，多位置拍摄；单目和双目的结合等等，添加物理滤片的一般不需要太多的算法计算，但是需要调整好滤片，投影仪，相机之间的位置关系，优点是硬件设置，算法简单，能够最有效的过滤掉高亮表面和镜面反射，但是缺点也是显而易见，因为需要较为精确的给出位置关系，并且调节角度，会经常性的改变系统设备，影响标定精度。通常，前两种算法会结合物理滤片，针对不同的场景，综合给出解决方案，代表作者有Mohit Gupta(Columbia University)。

        针对于高亮和暗面的研究还在不断的继续，更多的趋向于将上述的几种方法进行不同程度的混合使用，针对不同的物体表面，不同的纹理分布，各自所占权重有所不同。由于我也是刚刚开始学习这方面的知识，自己的理解还比较肤浅，我会继续深入的学习结构光系统测量的知识，着重了解高亮和暗面的处理，在随后的博客中，我会将学习的论文进行总结，具体的介绍各自的算法细节。