语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
来源:互联网 发布:电子表格数据对比 编辑:程序博客网 时间:2024/05/29 12:13
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
AAAI Conference on Artificial Intelligence (AAAI) 2018
http://mmlab.ie.cuhk.edu.hk/projects/M&M/
https://github.com/XiaohangZhan/mix-and-match/
这里简要说一下本文的大致思想思路,不太关注细节问题。
基于深度卷积网络的语义分割通常需要大量的标记数据作为训练样本如 ImageNet and MS COCO 用于网络的预训练,在预训练的基础上,再通过少量标记的目标数据(通常几千张)对模型进行微调得到最终的分割网络。为了降低人工标记的工作量,最近提出了一种自监督语义分割方法 self-supervised semantic segmentation,主要实现 pre-train a network without any human-provided labels。 这个方法的关键在于设计一个代理任务 proxy task (如 image colorization),通过这个代理任务,我们可以在未标记的数据上设计一个 discriminative loss,由于代理任务缺乏 critical supervision signals,所以不能针对目标图像分割任务生成 discriminative representation,所以 基于 self-supervision 方法的性能 和 supervised pre-training 相比较,仍有较大差距。为了克服 这个性能上的差距,我们提出在 self-supervision pipeline 里嵌入一个 ‘mix-and-match’ (M&M) tuning stage 来提升网络的性能。
Mix-and-Match Tuning
1)首先通过 self-supervised proxy task 在未标记的数据上对 CNN 网络进行预训练,得到CNN模型参数的初始化。
2)有了这个初始网络,我们在 target task data 对图像采取图像块,去除严重重叠的图像块,根据标记的图像真值提取图像块对应的 unique class labels ,将这些图像块全部混合在一起。
a large number of image patches with various spatial sizes are randomly sampled from a batch of images. Heavily overlapped patches are discarded. These patches are represented by using the features extracted from the CNN pre-trained in the stage of Fig. 2(a), and assigned with unique class labels based on the corresponding label map. The patches across all images are mixed to decouple any intra-image dependency so as to reflect the diverse and rich target distribution.
3)利用上面的初始网络对这些图像块进行相似性分析,这里使用 一个 class-wised connected graph,将每个图像块看作一个节点,属于同一类的图像块之间的权重比较大,不同类的图像块之间的权重比较小,因为我们有每个图像块的 类别标签信息,所以这是有监督学习的。通过这个学习我们可以让网络能够学习到图像块包含的类别信息
Our next goal is to exploit the patches to generate stable gradients for tuning the network. This is possible since patches are of different classes, and such relation can be employed to form a massive number of triplets
4) 在目标数据上利用标记的分割数据进行微调
fine-tune the CNN to the semantic segmentation task
我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan
- 语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
- 语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
- 语义分割--Understanding Convolution for Semantic Segmentation
- 图像分割"ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation"
- 语义分割--Learning Object Interactions and Descriptions for Semantic Image Segmentation
- 弱监督语义分割--Weakly Supervised Semantic Segmentation using Web-Crawled Videos
- 语义分割--DeconvNet--Learning Deconvolution Network for Semantic Segmentation
- 语义分割--Loss Max-Pooling for Semantic Image Segmentation
- 语义分割 DeepLabv3--Rethinking Atrous Convolution for Semantic Image Segmentation
- 语义分割--LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation
- 语义分割,ICNet for Real-Time Semantic Segmentation
- 语义分割--Fully Convolutional DenseNets for Semantic Segmentation
- 语义分割--Deep Dual Learning for Semantic Image Segmentation
- 【图像语义分割】Fully Convolutional Networks for Semantic Segmentation
- 语义分割--Global Deconvolutional Networks for Semantic Segmentation
- 语义分割(Semantic Segmentation )论文
- CV | Feature Space Optimization for Semantic Video Segmentation - 基于特征空间优化的视频语义分割
- 实时语义分割--ICNet for Real-Time Semantic Segmentation on High-Resolution Images
- 《算法艺术与信息学竞赛》之 排序与检索 二分 URAL 1184 电缆
- Android 自定义View合集
- Stream
- Retrofit的使用详解,我见过最详细的博客,没有之一
- 线程作业
- 语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
- android逆向神器之firda
- C语言与数据结构之计算器的设计
- 使用GPUImage做美颜导致远端图像颠倒的问题详解
- 解决jquery跨域cookie丢失问题
- Java复习总结1
- SSHL
- JavaScript学习-事件
- 【Android控件】轮播图的实现