语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation
来源:互联网 发布:战龙三国坐骑数据 编辑:程序博客网 时间:2024/06/03 18:07
Learning Object Interactions and Descriptions for Semantic Image Segmentation
CVPR2017
本文主要是从训练数据的角度来提升CNN分割性能的。由于像素级别标记的样本很少,制作样本成本高。这里直接根据关键词从网络上搜索相关图像,建立了一个数据库 IDW, 结合 VOC12上面的训练数据联合训练,对此设计了一个 IDW-CNN 模型,经过联合训练得到的模型用于分割,性能提升比较大。
首先来看看这个IDW数据库的建立
IDW 和 VOC12 两个样本的对比
看看大家都是怎么使用额外的信息
- Learning Image Descriptions
We construct an image description in the wild (IDW) dataset to improve the segmentation accuracy in VOC12
这里我们建立一个IDW数据库的图像描述用于提升 VOC12分割性能
In the first stage 根据 VOC12 里的20个类别,选择 21 prepositions and verbs 进行组合,得到 subject + verb/prep. + object’ leads to 20×21×20 = 8400
然后对其进行过滤,得到 hundreds of meaningful phrases,用这些语言描述去搜索图像,根据图像数量再过滤一下,把太少的过滤掉。最终得到 59 valid phrases
IDW has 41,421 images and descriptions
Image Description Representation
根据图像在网络上语言描述信息提取用于分割的关键信息
IDW-CNN 网络结构示意图
IDW-CNN 首先使用 ResNet-101 提取特征,然后有两个 streams: 第一个 stream 用于预测初步分割结果,第二个 stream 用于估计 物体之间的相关性 object interactions。这里面有 21 object nets 和 22 action nets
每个 subnet 结构如上图 (b)所示
两个类别物体特征可以直接相加
训练过程也是逐步进行的。
最后的分割结果:
阅读全文
0 0
- 语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation
- 语义分割--Deep Dual Learning for Semantic Image Segmentation
- 语义分割--Loss Max-Pooling for Semantic Image Segmentation
- 语义分割 DeepLabv3--Rethinking Atrous Convolution for Semantic Image Segmentation
- 语义分割--DeconvNet--Learning Deconvolution Network for Semantic Segmentation
- 语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
- 语义分割--Understanding Convolution for Semantic Segmentation
- 语义分割--Attention to Scale: Scale-aware Semantic Image Segmentation
- 语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
- 语义分割--LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation
- 语义分割,ICNet for Real-Time Semantic Segmentation
- 语义分割--Fully Convolutional DenseNets for Semantic Segmentation
- 【图像语义分割】Fully Convolutional Networks for Semantic Segmentation
- 语义分割--Global Deconvolutional Networks for Semantic Segmentation
- 语义分割(Semantic Segmentation )论文
- Learning and Incorporating Shape Models for Semantic Segmentation文章理解
- 语义分割DeepLab v2--DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolut
- Rich feature hierarchies for accurate object detection and semantic segmentation
- 读取xml文件
- nsis中常用的对$INSTDIR赋值的两种方法
- sysbench1.0.6 初学
- 类的创建与简单实现
- ubuntu下创建桌面快捷方式
- 语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation
- 单例设计模式
- RxJava 1.x 参数和参数的类型
- DB2 SQL Error: SQLCODE=-803, SQLSTATE=23505
- 从google的todo学习MVP
- linux下更改Python版本
- Eclipse快捷键
- 【电路第七章之II篇】一阶电路的零状态响应分析
- Linux中tty框架与uart框架之间的调用关系剖析