论文笔记 UberNet : Training a ‘Universal’ Convolutional Neural Network
来源:互联网 发布:深入理解java反射机制 编辑:程序博客网 时间:2024/06/05 07:21
UberNet : Training a ‘Universal’ Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory
这是一篇很有意思的文章,将CNN的许多用途一起结合训练一个网络进行,实现CNN的:
boundary detection (b) normal estimation (c) saliency estimation (d) semantic segmentation (e) semantic part segmentation (f) semantic boundary detection and (g) proposal generation and object detection
这是一篇很有意思的文章,将CNN的许多用途一起结合训练一个网络进行,实现CNN的:
boundary detection (b) normal estimation (c) saliency estimation (d) semantic segmentation (e) semantic part segmentation (f) semantic boundary detection and (g) proposal generation and object detection
多功能的结合对于工业界应该有很深的意义,一个网络十分方便。
对于不同任务下网络的结合,主要需要解决的问题有以下2个:
(1)不同数据集上的训练
(2)内存大小的限制
对于问题(1):
不同的数据集上同时训练时的统一,作者设计了如下图的网络,即为UberNet,结合多标签任务:图中最左是一个连续的降采样操作得到的影像金字塔,金字塔中每个图像都连接着独立的一个CNN网络。图中,C指的是VGG网络,结合B批处理的正则化操作,来得到特征,并得到对应的task的回应E。所有的回应E结合最终完成task-special 的操作。
对于问题(2)内存的问题:
作者修改了一系列内存的储存方式来进行内存问题的优化。下图为单个任务的Vanilla backpropagation方法:黑色箭头代表memory查找操作,黄色箭头代表储存操作,蓝色箭头代表前后向传播。在前向传播中,每层在bottom box中储存激活信号,而在后向传播中,激活信号与梯度信息(top boxes)通过loss层进行递归的计算。
而相对地,下图为单个任务下的low-memory backpropagation方法示意图:首先储存memory中的激活值的子集,然后在小网络上提供‘anchor’points的运行的反向传播算法,主要减少同时在内存中储存的激活与梯度信息。
对于多任务下,作者也进行了一系列改进,下图分别为多任务下的Vanilla backpropagation及作者修改的结果:
最终的部分结果展示:
1 0
- 论文笔记 UberNet : Training a ‘Universal’ Convolutional Neural Network
- 论文笔记 UberNet : Training a ‘Universal’ Convolutional Neural Network
- 论文《A Convolutional Neural Network Cascade for Face Detection》笔记
- 【论文笔记】A Convolutional Neural Network Cascade for Face Detection
- 论文《A Convolutional Neural Network Cascade for Face Detection》笔记
- 论文《A Convolutional Neural Network Cascade for Face Detection》笔记
- 论文学习——Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches
- 论文笔记 MSCNN:A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
- 【论文笔记】【特征可视化及分析改进】Visualizing Features from a Convolutional Neural Network
- Fast convolutional neural network training using selective data sampling 笔记
- [论文笔记] CRNN(Convolutional Recurrent Neural Network)_2015 学习笔记
- 【论文笔记】Image Classification with Deep Convolutional Neural Network
- cs231n Convolutional Neural Network 笔记
- 【Deep Learning】Review of Stereo Matching by Training a Convolutional Neural Network to Compare Image
- Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches
- MSCNN 论文解析(A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
- MSCNN 论文解析(A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
- A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer论文理解
- ls命令常用方法
- POJ 1679 The Unique MST
- 操作系统
- 浮点数之坑
- 排序函数模板
- 论文笔记 UberNet : Training a ‘Universal’ Convolutional Neural Network
- μc/os 系统学习-任务2
- Spark RDD编程(二)
- 常见排序算法_java版本
- 操作系统 (计算机管理控制程序)
- 2016/9/11--一周的工作总结
- listView item 部分刷新
- 理解Volley -- Android 学习之路
- 裸机程序一:Ubuntu、Mac OS、Windows下EasyOpenJTAG+OpenOCD的安装和使用