多任务学习“Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”
来源:互联网 发布:大数据设计哪些技术 编辑:程序博客网 时间:2024/06/06 00:36
多任务学习系统的性能很大程度上依赖于任务间的损失权值。手动调节权值非常耗时耗力,论文提出使用任务间的同方差不确定性给每个损失函数赋权。模型由单一图像同时学习像素级深度回归、语义及实例分割。场景理解的多任务学习在机器人领域比较实用,多个任务组合到一个模型可以降低计算量。
多任务学习中每个任务的最优权值依赖于调节尺度、任务的噪声幅值。论文多任务学习的结构为:
相关工作
多任务学习可以认为是归纳知识迁移,通过共享互补任务的域信息提升泛化性能。
MultiNet
CrossStitch
PoseNet
UberNet
多任务学习-同方差不确定性
简单的多任务学习,每个任务的权值线性相加:
这是模型的性能受权值选择的影响,调节权值耗时,如下图语义分类及深度回归的损失权值:
在贝叶斯模型中,有两类可以建模的不确定性,即认知不确定性(缺少训练数据)、偶然不确定性(数据不能解释信息)。偶然不确定性又可以分为两个子类:数据依赖地或异方差不确定性、任务以来地或异方差不确定性。多任务中,任务不确定性捕获任务间相关置信度,反应回归或分类任务的内在不确定性。
多任务似然估计
基于最大化同方差不确定性的高斯似然估计,生产多任务损失函数。
对于分类任务,使用softmax函数估计:
多任务估计:
最大似然估计为log似然估计,两个任务的最小化目标为:
变量
具有同方差任务不确定性的多任务目标函数最终为:
- 多任务学习“Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”
- 多任务学习(Multi-task learning)
- 两个Multi-task learning(多任务学习)的代码
- Multi-task learning(多任务学习)简介
- 17.3.13 多任务学习 Multi-task learning
- 多任务学习(Multi-Task Learning, MTL)
- 多任务学习(Multi-task learning)-1
- 多任务学习方法( Multi-task learning )介绍
- 迁移学习(transfer learning)、多任务学习(multi-task learning)、深度学习(deep learning)概念摘抄
- 多任务学习“Facial Landmark Detection by Deep Multi-task Learning”
- 人脸属性多任务学习:Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
- [深度学习论文笔记][Scene Classification] Learning Deep Features for Scene Recognition using Places Database
- 多任务学习“Rotating Your Face Using Multi-task Deep Neural Network”
- Learning to Divide and Conquer for Online Multi-Target Tracking
- Learning Task Grouping and Overlap in Multi-Task Learning
- 深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks) --多任务学习-2
- End-to-End Learning of Geometry and Context for Deep Stereo Regression
- 《Learning Deep Features for Scene Recognition using Places Database》记录
- 学习笔记:C++ 函数重载
- bug排坑记录
- CC2541 软件I2C
- SAP固定资产的几个关键日期
- Planet: Understanding the Amazon from Space 获奖者心得
- 多任务学习“Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”
- [Windows]_[系统内部版本号对照表]
- OpenSessionInViewFilter源码分析
- gcc版本查看
- 后台秒杀架构设计与实现(一)
- 小猪的Python学习之旅 —— 1.基础知识储备
- jsEnter键的屏蔽
- Model Tree Structures with Parent References
- 《Apache Flume教程》第一章 Flume 的简介