多任务学习进化史
来源:互联网 发布:清华大学网络学堂外网 编辑:程序博客网 时间:2024/05/23 23:22
(未经允许,不得转载)
本文结合各个博客以及论文整理的资料,如有版权问题,请告知。
首先多任务学习的定义:我们常说的多任务学习其实有3种情况:
1) 同一dataset,要解决不同的task。
例如:针对一篇文章进行分词、词性标注、句法分析等,所用的数据都是一篇文章,但是对应的task不同。
2)不同的dataset,解决相同的task。
例如:对不同学校的学生成绩进行预测问题。
本文主要介绍的是情况2所对应的算法的演变。如需了解具体的算法实现以及计算过程,请去看论文。
本文主要的衍生以04的Regularized Multi–Task Learning为起始。
在最初的假设中:对于不同的dataset的task存在这共同的联系。以回归模型类例:
每个任务的变量的权重由公共联系以及各自的特性组成即:
其中
因此目标函数为:
其中
此文章中的假设为所有的task之间的feature都是存在相关联,但是实际情况中并不一定。因此有人提出通过惩罚函数的一范数来使得feature之间的联系稀疏化。文章连接:Multi-Task Feature Learning
假设:不同任务之间的只有一小部分的feature存在关联性。
目标函数:
其中
(未完待续)
阅读全文
0 0
- 多任务学习进化史
- 多任务深度学习
- 多任务学习代码
- 多任务深度学习
- 多任务学习
- Tensorflow 多任务学习
- 多任务学习
- 产品经理学习笔记(1)-互联网产品经理的进化史
- 深度学习(六)——CNN进化史
- 多任务学习经典帖子
- iOS多任务学习记录
- 多任务深度学习代码
- 多任务学习-Multitask Learning
- caffe2实现多任务学习
- 神经网络中的多任务学习
- 浏览器进化史
- 数字视频进化史
- Windows进化史
- [LeetCode]345. Reverse Vowels of a String
- 两个listview镶嵌ScrollView无法同时滑动问题
- 虚拟机内存使用情况详解
- 用Python学《微积分B》(空间向量)
- codeforces876B Divisiblity of Differences
- 多任务学习进化史
- Alfred每次开机后,都会提示“是否允许访问通讯录”
- jQuery移动端拆红包功能的实现
- 在Oracle上创建SDE空间库的规范化流程
- web四大作用域 转载
- StringUtils.isEmpty和StringUtils.isBlank用法和区别
- setCapture和releaseCapture
- 如何在微信号限制加群后实现精准吸粉?
- jmeter java请求