kinect fusion 3D重建基本算法
来源:互联网 发布:金恪集团 知乎 编辑:程序博客网 时间:2024/05/13 06:21
what is KinectFusion
kinectfusion是微软研究院利用kinect进行三维重建的项目,深入了解该算法及其实现可以为3D重建的kinect类应用提供一定的参考。该项目本身需要比较强大的CUDA显卡支持实现实时重建。
相应的开源版本可以使用KinFu,其下载地址在http://pointclouds.org/downloads/
How KinectFusion Works
KinectFusion重建的基本流程是(according to 《Real-time 3D Reconstruction and interaction Using a Moving Depth Camera》)
- Depth Map Conversion
- Camera Tracking
- Volumetric Integration
- Raycasting
接下来,我们详细地说说这几步
pre-work
在进行下面的处理处理之前,kinectFusion实际还对原始的深度信息进行了一定的降噪平滑,采用双边滤波(Bilateral filtering),在保留边缘的基础上进行平滑,是个可以接受的选择。
Depth Map Conversion
主要是求出有原先的图像点u=(x,y),以及深度值D(u),求得每个点的法向量n(u)。根据相机的内部矩阵,将图像2D坐标转化为相机原点坐标系的3D点。
Camera Tracking
此步骤用ICP(iterative closest point)算法,求解出相机每次的相对位移与转动。相机位置可以用来将相机原点坐标系的结果转化到世界坐标系。
采用的基本算法根据这篇paper的研究《S. Rusinkiewicz and M. Levoy. Efficient variants of the
ICP algorithm. 3D Digital Imaging and Modeling, Int.
Conf. on, 0:145, 2001.》
其cuda算法实现如下
详细的介绍可以参考http://blog.csdn.net/viewcode/article/details/8426846 中关于fasticp的介绍。
每次迭代的基本思路就是:
- 筛选:点集或曲面的筛选(滤波)
- 有全选,随意筛选,均匀分布,特征筛选等多种方法,kinectFusion中使用的应该是最朴素的全选(由于使用了GPU,并行化增加的前提下简单的算法有无可比拟的优势)
- 匹配:两个点集之间的点进行配对
- 注意这并不是要保证匹配的点对是真实的匹配,因为本身ICP是迭代计算出匹配点并将其拟合的收敛过程。我们需要做的是每次选取合适的初始值。
- KinectFusion采用的是投影关联(projective data association)。简单来说就是用上一个世界坐标系中的点,先转化成上个相机坐标系点
vi−1 (3D),再转化成上一个图像坐标系点P(2D),然后找到本次图片中同样的2D坐标点,用当前的Ti值和Ri值去计算出点v及其法向量n,最后判断v和n与其对应点的相容性(其实是第4步去除的操作)。这样就完成了一次找匹配点的计算。
- 权重:给每个匹配的点对分配权重
- 去除:去除不符合条件的点对
- 误差度量:基于以上点对,给出每个点对的误差计算方法
- 最小化:最小化误差度量
经过上面的一次迭代,我们找到一堆匹配点,并求出其中使得匹配度最优(可以取类似最小二乘的值)的T,然后将本次测量的深度图进行相应的变换来进行下次迭代。
由于采用的是类似连续图像处理的方式,每一帧的深度测量值相差都很接近,这样才能使得算法能够迭代收敛。对每个点用一个GPU线程去处理的方法有效的简化了ICP的过程。
Volumetric Integration
上一环节已经形成了每个相机图像个子的T和R,可以将每一帧采集的数据转化成世界坐标系当中。通过本环节的操作,我们可以形成水密的物体重建,采用TSDF(Truncated Signed Distance Function)的方法。
接下来我们对每一步进行解释,非常通俗易懂且巧妙的算法:
将重建空间进行体素划分,比如划分成
5123 (即长宽高都是512的立方体晶格)。
我们将整个空间的体素全部存入GPU的显存,所以KinectFusion的这种算法对显存的消耗极大,如果不加改造直接用在大场景的重建会有问题。但是显存随着硬件发展在不断增加,同时一些减少显存消耗的算法改进(比如八叉树)能有效减少KinectFusion的显存消耗。
对于(x,y,z)的晶格坐标,每个GPU进程扫描处理一个(x,y)坐标下的晶格柱。
- 1,2:对于每个x,y坐标下的体元g,并行的从前往后扫描
- 3:将晶格坐标g转换到对应的世界坐标系点
vg - 4: 对于每次TSDF操作时的拍摄变换
Ti 反变换到对应的相机坐标系坐标v - 5:相机坐标系点v投影到图像坐标点p,从3D到2D
- 6:如果v在此摄像机的投影范围内,用它修正现有tsdf表示
- 7:
sdfi 是该相机坐标系点vg 到本次相机原点ti 的距离与本次观测深度Di(p) 的差值 - 8-11为截断的过程,Truncated的意义所在,用max truncation表示选取的截断范围,此值将会关系到最后重建结果的精细程度
- 8:如果差值为正,表示该晶格在本次测量的面的后面
- 9:
tsdfi 赋值【0,1】之间,越靠近观测面的地方值越接近0 - 10:如果差值为负,表示该晶格在本次测量的面的前面
- 11:
tsdfi 赋值【-1,0】之间,越靠近观测面的地方值越接近0
- 12:选取本次计算值的tsdf的权值
wi ,这个权值的选取直接关系到图片的适应性,以及抗噪声的能力,其实这里有点类似卡尔曼滤波。注意这里每次权值+1的操作基于这样的原因,由于只有在相机拍摄范围内的点才会进入求tsdf的操作,每次的权值在原先的基础上增加1能照顾到迅速变化的或很少扫描到的面的变化。 - 13:加权平均求出
tsdfavg - 14:将
wi 和tsdfavg 存储在对应的晶格,进行下个晶格的扫描操作
经过上面的扫描,最终立方体晶格中存储的tsdf值形成了重建物体外是负值,物体内部是正值,物体表面是0值得形式(可能没有准确的零值,但是可以根据正负值插值求出零值点,所以最后物体表面的分辨率将会超过晶格的分辨率)
Raycasting
之前的操作只是形成了
- kinect fusion 3D重建基本算法
- kinect fusion 3D扫描
- Kinect for Windows SDK v2.0 开发笔记 (十八) Fusion 基本2D显示
- Kinect Fusin 3D重建 运行设备情况
- 3D 重建相关算法
- Kinect-Fusion ICP算法寻找匹配点
- Kinect Fusion
- Kinect Fusion
- Kinect Fusion ICP算法极小化目标函数
- 运行用Kinect重建3D场景的开源app——RGBDemo
- Kinect 3D建模
- Bundle Adjustment - 基于feature的3D场景重建算法
- Bundle Adjustment - 基于feature的3D场景重建算法
- Bundle Adjustment - 基于feature的3D场景重建算法
- Bundle Adjustment - 基于feature的3D场景重建算法
- 3D重建基础
- 3D重建山雨欲来
- 人脸3D重建
- 第七次上机实验
- I/O端口和I/O内存
- 数据结构之2-3-4树
- ACM:蓝桥杯:密码发生器
- LeetCode--No.160--Intersection of Two Linked Lists
- kinect fusion 3D重建基本算法
- 网络七层及模型&&网络数据包
- geekband android #5 第十四周分享(设计模式)
- 187_java中的引用类型
- ACM:蓝桥杯:字符串对比
- js访问JSON
- C++作业-7
- 5.5 神经网络的正则化
- 第七次作业