Facebook的物体分割新框架研究3——SharpMask
来源:互联网 发布:matlab 矩阵方程 编辑:程序博客网 时间:2024/05/21 01:47
相关文章:
Facebook的物体分割新框架研究1——写在前面
Facebook的物体分割新框架研究2——DeepMask
二、SharpMask【Learning to Refine Object Segments.2016 ECCV】
从名字就能看出来,主要为了是refine DeepMask的输出。DeepMask的问题在于它用了一个非常简单的前向网络产生粗略的object mask,但不是像素级别准确的分割。显然因为DeepMask采用了双线性上采样以达到和输入图像相同大小这一机制,使得物体边缘是粗略估计出来的,不准确。SharpMask的insight来自,物体精确地边缘信息可以从low-level图像中得到,与网络高层的物体信息结合,应该能够得到比较精确的边缘。因此主要的思路是,首先用DeepMask生成粗略的mask,然后把这个粗略的mask通过贯穿网络的很多refinement模块,生成最终的精细mask。
1.网络结构
显然网络信息流除了传统的自下而上,还得有自上而下的通道,网络结构是:
可以看到自下而上的过程是传统的前向CNN网络,比如DeepMask(本文后面还调研了其他网络结构 例如ResNet等),输出一个粗略的mask,然后需要逐层融合low-level的特征来找到精确的物体边缘等信息。
2.Refinement 模块
refinement模块的作用是逆转pooling的作用,输入上层传下来的mask encoding和自下而上传递过来的匹配的features map,并且融合两个过程的信息来生成一个新的mask encoding,有着两倍的空间分辨率。这个过程一直持续到patch的全部分辨率被恢复,然后最后的输出就是精细的object mask。
- Refinement细节
- 训练和推断过程
3.前向网络结构研究
文中,把segmentation和scoring共享的叫做Trunk architecture,二者独有的叫做Head architecture。
- Trunk architecture
- Head architecture
最后通过实验采用W160-P4-D39-F128的trunk architecture和C head architecture作为最终的前向网络,称为DeepMask-ours【你的你的都是你的。。这名起的跟谁要夺你版权似的= =】
DeepMask-ours和refinement一结合,就是我们的主角:SharpMask了,它是2016年COCO数据集上的state-of-the-art。博主觉得最值得借鉴的部分就是想办法把低层的像素级别的信息和高层的物体级别的信息融合,因此未来我们可以设计更好的融合方案,也许能大大提高性能。
- Facebook的物体分割新框架研究3——SharpMask
- Facebook的物体分割新框架研究1——写在前面
- Facebook的物体分割新框架研究2——DeepMask
- Facebook的物体分割新框架研究4——MultiPathNet
- 源于facebook的新的前端框架React
- Ours Facebook研究报告---第六章.Ours Facebook技术研究报告(3)-程序设计框架
- Ours Facebook研究报告---第六章.Ours Facebook技术研究报告(3)-程序设计框架
- 运动物体分割 —— 高斯背景模型
- 运动物体分割 —— 高斯背景模型
- 有关物体运动的研究。
- Dojo的新Demo:Facebook?
- Facebook新研究:根据照片自动生成卡通头像
- Ours Facebook研究报告---第一章 FaceBook的业务构架
- Ours Facebook研究报告---第四章.FaceBook的商业价值
- 李飞飞新研究:基于深度学习和视觉化语言来了解不同物体间的关系
- Facebook的网站框架LAMP
- facebook开放的源码,框架。
- unity中物体尺寸的研究
- redis 订阅与发布功能
- c蓝桥杯分糖果
- 为什么是Gradle? -- Gradle教程(一)
- nginx 设定某个目录只允许特定ip/ip段访问
- 简述strcpy,sprintf,memcpy的区别
- Facebook的物体分割新框架研究3——SharpMask
- macOS Sierra 10.12 因Gatekeeper无法安装第三方应用解决
- Java Split以竖线作为分隔符
- C#70课的主要内容
- 使用Android开源框架踩过的坑
- Zeppelin 0.6.2 使用spark2.x 的一些错误处理
- 解剖一个Android App
- Next Permutation
- 解读2016之Golang篇:极速提升,逐步成熟