Depth Map Prediction from a Single Image using a Multi-Scale Deep Network

来源:互联网 发布:mac安装ps软件教程 编辑:程序博客网 时间:2024/05/17 23:19

这个文章有两个点,第一,基于整张图片进行一个粗全局预测,另外一个是局部优化预测。同时也采用尺度不变性来修正深度。

第一部分这个粗预测层,虽然层数比较少,但好歹也是ImageNet 预训练过的。预训练结果当然比随机初始化的要好啦。

第二部分,局部修正比例网络。当对于全局信息有了一个粗深度预测之后,用子网络来对结果进行局部的修正。比如物体和墙壁的边缘,这个修正网络由卷积层和池化层构成。有个有意思的,池化阶段为了边缘特征?池化与边缘特征啥关系?

网络很简单。通过pool来增大因为卷积减小的尺度。网络过于简单,怀疑其性能。

尺度不变性损失。

网络结构自认为不太好,好好学习其损失代价。


这就是训练的代价,lambda为0的时候就是一个l2loss,lambda为1的时候,就是添加了尺度不变性的loss。至于尺度不变性,这里还不是很理解,也许要去看下传统的论文算法了。


这里,后面一项其实是周围像素的一个惩罚。当同方向的时候,无惩罚,当方向为负的时候,惩罚加大。这样可以使得结果图片看上去更加的平滑,也是近期主要处理的问题。

这里的d

数据增益

它也有数据增益

尺度变化,[1,1.5]

旋转,5度以内

转换,也是crop

color,[0.8,1.2]^3

翻转,水平垂直50%的概率翻转。


总结:网络一般般,loss值得考虑








阅读全文
0 0