UnsupervisedMonocular Depth Estimation with Left-Right Consistency

来源:互联网 发布:流水别墅尺寸数据 编辑:程序博客网 时间:2024/05/19 08:00

为什么能注意到这篇文章呢,因为它是端到端,同时在loss处可以达到左右一致性检测。就是将post-processing结合到了端到端之中。因此,我很注重它的loss。

一般接触的算法都是supervise的,就是都需要质量比较好的ground truth。

这篇还有个贡献就是不需要ground truth也依旧可以训练。以图像重建loss可以生成disparity。听说结果比supervise的都要好(吹?)

总结一下,该论文的算法结构模仿DispNet。而且非监督,不需要ground truth深度信息,且直接在loss上面包含了left-right consistency(左右一致性矫正)

Depth Estimation as Image Reconstruction

可以将深度预测问题看成回归问题,即将双目相机的左右两图,左图可以回归成右图即可。

Depth Estimation Network

本文奇特的是只根据一张左图同时产生两个disparity信息(左->右,右->左)

这篇文章就是训练的时候用左右两张图片,然后测试的时候只用左图。训练出一个左眼的视角。当然,输出也是两个输出(左->右,右->左)


就是一个左图,产生了左视察,然后左视差形成右视差。。

Training Loss

loss成本有如下三个部分,Cap是回归生成的图片接近于训练输入图片,Cds强制了视差预测的平滑性,Clr使得左右视差一致性。只有左图经过卷积神经网络的洗礼虽然每个主要的步骤当中都包含着左右两图。







原创粉丝点击