场景解析--Pyramid Scene Parsing Network
来源:互联网 发布:画图软件使用技巧 编辑:程序博客网 时间:2024/06/10 18:40
Pyramid Scene Parsing Network
CVPR2017
语义分割
https://github.com/hszhao/PSPNet
针对 FCN 中没有 context 信息,本文提出的 PSPNet 网络嵌入了比 global average pooling更好的 global context 信息来提升分割效果
2 Related Work
对于 scene parsing 和 semantic segmentation 任务, 深度卷积网络是目前的主流方法。这里我们的基准网络是 FCN+dilated network。
目前大家的研究方向主要有两个:1)组合利用多尺度特征,2)使用 CRF作为分割后续处理方法。
对于global context 信息,文献【24】使用 global average pooling,但是对于复杂的 ADE20K 数据库,效果不是很好。这里我们使用了另一个 global context 信息
3 Pyramid Scene Parsing Network
3.1. Important Observations
针对 ADE20K 数据库,我们观察到了一些现象:
1)Mismatched Relationship 目标之间应该有一定的相关性
2)Confusion Categories 图像中同一个物体同时被标记为两个类别
field and earth; mountain and hill,wall, house, building and skyscraper
3)Inconspicuous Classes 大目标 小目标问题
综上所述,主要问题在于 contextual relationship and global information for different receptive fields
3.2. Pyramid Pooling Module
在一个深度网络中,感受野的尺寸大小决定了我们有多少 context 信息可以用。理论上 ResNet 的感受野尺寸要比输入图像尺寸大。但是文献【42】指出CNN 的实际感受野尺寸要比理论尺寸小很多。文献【24】提出的 Global average pooling 对于复杂的 ADE20K 数据库来说过于简单了。这里我们借鉴 文献【12】Spatial pyramid pooling 提出了 pyramid pooling module 来得到全局先验信息。
上图中间模块 pyramid pooling module 第一行 是用 global pooling 生成的 a single bin output
第二行我们将特征图等分为4块,每块分别用global pooling得到 bin output。上图四行分别对应
1×1, 2×2, 3×3 and 6×6
为了维持 global feature 的权值,在每一行我们使用 一个 1×1 convolution layer 来降低 context representation 的维度。接着我们使用 bilinear interpolation 插值,使其和原始特征图尺寸一样大小。最后和原始特征图组合起来。
4 Deep Supervision for ResNet-Based FCN
为了更好的训练网络层数较多的模型,我们引入了 additional loss,another classifier is applied after the fourth stage
The auxiliary loss helps optimize the learning process, while the master branch loss takes the most responsibility. We add weight to balance the auxiliary loss.
Deep Supervision 在人脸识别算法 DeepID2 中已经存在。
5 Experiments
- 场景解析--Pyramid Scene Parsing Network
- 场景解析--Pyramid Scene Parsing Network
- PSPnet:Pyramid Scene Parsing Network
- 【PSPNet】Pyramid Scene Parsing Network
- PSPNet(Pyramid Scene Parsing Network)
- Pyramid Scene Parsing Network - arxiv - 1612.01105
- [Paper note] Pyramid Scene Parsing Network
- Pyramid Scene Parsing Network(PSP NET)
- Pyramid Scene Parsing Network论文解读
- Reading Note: Pyramid Scene Parsing Network
- 论文阅读:《Pyramid Scene Parsing Network》CVPR 2017
- 场景解析--Scene Parsing through ADE20K Dataset
- Scene Parsing
- 场景Scene
- cocos2d Scene场景转换
- cocos2d-X 场景Scene
- Cocos2dx 场景类-Scene
- cocos2dx-3.0(3)------Scene 场景
- k8s入门系列之guestbook快速部署
- php基础知识 10,数组的运用
- iOS JSModel转化过程中含有id属性解决办法
- Kali Linux下运行Sniffjoke出错的解决
- Android Tangram模型:连淘宝、天猫都在用的UI框架模型你一定要懂
- 场景解析--Pyramid Scene Parsing Network
- 服务器端返回数据处理
- 混淆后导出APK时报Warning而导出失败?
- redis
- 安卓开发笔记,一些有用的方法记录(随时记录)
- java中string与json互相转化
- 洛谷OJ
- [Java面试四]Strust2总结及在面试中的一些问题.
- 微信小程序 仿美团城市选择 城市切换