DynamicFusion: Reconstruction and Tracking of Non-rigid scenes in real-time

1)
3.1

Ntwarp={dgv,dgw,dgse3}t

dgv表示该点canonical frame的位置
dgw表示影响范围
dgse3该点在当前帧的形变

i=1…n 其中n是第0层node点数

2)
公式(2)中Tlw从world转到当前帧的camera view

3)
3.2算体素的psdf

对于每个体素中心xc(世界坐标, canonical space), 先转到当前帧的camera view中xt, (3)式第二部分

然后将该点xt投影当前帧的Image view里面uc, 然后索引出深度, 转回到camera view中. (3)式第一部分

第一部分为相机到surface, 第二部分为相机到体素中心的距离, 两者相减则为体素中心到surface的距离

4)
3.3算Wt,即算每帧相机的poseTlw, 每点的形变Tic

5)

3.3.1 用non-rigid ICP构造data term

注意ICP第一步是找匹配, 跟kinnect fusion不同(kinnect fusion找前后两帧Image view的匹配点, 然后算出世界坐标让他们一致), 它先根据TSDF提取出一个zero level set: V~c={Vc,Nc}, 然后用Wt对其进行形变,(注意Wt是我们要求的, 我们这里采用的初值然后逐步迭代, 跟KinnectFusion求T~zg,k一样,先定一个初值,然后代入公式再逐步优化), 此时形变后的坐标为当前帧的camera view, 然后再投影到image space里面, 这样就有一个image view 到canonical space的对应关系. 即每个像素u对应一个形变后的canonical点的坐标v^u 以及形变后的canonical的法向量n^u, 然后将v^u投影回image view u~, 索引出深度,投影回camera view, vlu~, 最后组成公式(7)