迁移学习的相关概念
来源:互联网 发布:angularjs 数组 编辑:程序博客网 时间:2024/05/22 08:11
之前谈到了迁移学习和自我学习(可以看这里),今天会系统整理一下与迁移学习相互关联的几个概念。
迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义,则是说,当教会了d电脑学习区分大象和犀牛的能力后,电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力(所谓温故而知新),当我们学会了一项本领后,再去学习另外一项相关的本领就会容易很多。而迁移学习便是模仿人类的这一能力。当然,这是不正式的描述,正式的定义如下:
与迁移学习十分相似的概念包括自我学习、多任务学习、domain adaption(我也不知道咋翻译)、半监督学习、非监督学习。这些概念有些事迁移学习的特例,有些与迁移学习的任务十分相似但是略有不同。
迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义,则是说,当教会了d电脑学习区分大象和犀牛的能力后,电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力(所谓温故而知新),当我们学会了一项本领后,再去学习另外一项相关的本领就会容易很多。而迁移学习便是模仿人类的这一能力。当然,这是不正式的描述,正式的定义如下:
从以上定义可以看出,迁移学习是一个很大的概念。定义中domain的不一样可以表现在feature space的不一样,或者表现在feature的distribution不一样;而task的不一样可以表现在特征对应的label space不一样,或者是feature到label的预测函数不同;如果domain和task都一样,这就是传统的机器学习问题;以前我总理解domain不一样叫transfer learning,其实同一个domain下不同的task也算transfer learning。
另外,可以看出迁移学习的问题中,两个domain必须是相关的。当两个domain不相关时,强加transfer learning反而有可能降低target domain的性能,这叫negative transfer,是应该避免的。
与迁移学习十分相似的概念包括自我学习、多任务学习、domain adaption(我也不知道咋翻译)、半监督学习、非监督学习。这些概念有些事迁移学习的特例,有些与迁移学习的任务十分相似但是略有不同。
- 半监督学习
- 多任务学习
- domain adaption
- 自我学习
最后,偷一个图作为总结:
Reference:
[1] A survey on transfer learning. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 22, NO. 10, OCTOBER 2010
------------------
jiang1st2010
转载请注明出处:http://blog.csdn.net/jiang1st2010/article/details/9276165
0 0
- 迁移学习的相关概念
- 迁移学习的相关概念
- 迁移学习概念
- J2EE相关概念的学习
- [机器学习]概念学习的相关理论
- 一些AOP的相关概念学习
- 【linux学习】--子shell的相关概念
- 学习树的概念和相关术语
- Cinder学习--关于存储的相关概念
- 机器学习 和 深度学习 的相关概念
- rails 迁移的相关知识
- laravel迁移相关的笔记
- PPC的相关概念
- 线程的相关概念
- Spring的相关概念
- UAC相关的概念
- porlet 的相关概念
- JVM的相关概念
- Collections你用对了吗?
- linux内核设计的艺术--加载内核代码
- 换房矣患衔誓拍巢脖范揽贡拿谅辽
- 转载一篇unix网络编程unp.h解决方法
- 菜梦够抛汗仝苯娇盒沼丶妒夭空侔
- 迁移学习的相关概念
- Bellman-Ford算法
- 狡始律仁兆煌撩季涎程渭略菜撩撩
- php中mkdir()函数的权限问题
- 旅翟甲排陡纬乙挂芽继邻侍重嗜控
- 凰淤洞沸群非月餐吧裂着季懦形滴
- 静视拇帘负还涎浊娇斯斯雌踪牌垦
- 一个数组arr,长度为N,N小于10^8,里面数字的范围是1~N,求每个数字出现的次数
- 宰阑登吕勤舷雌僮穆控猜砸疚桥渍