paperweekly-迁移学习

来自微信公众号：paperweekly

所谓迁移学习，就是从一个或多个源任务（source task）中抽取知识和经验，然后将其应用于一个有相关性的目标领域（target domain）。

1.Domain adaptation via transfer component analysis

迁移学习领域公认的经典工作，作者团队来自香港科技大学 Qiang Yang 教授团队，推荐所有做迁移学习研究的同学都看一看。

4.Unsupervised Domain Adaptation by Backpropagation

深度迁移学习经典文章。

代码链接    https://github.com/shucunt/domain_adaptation

5.How transferable are features in deep neural networks?

探究深度网络的可迁移性质，非常值得读。虽然该论文并没有提出一个创新方法，但是通过实验得到了以下几个结论，对以后的深度学习和深度迁移学习都有着非常高的指导意义。

神经网络的前 3 层基本都是 general feature，进行迁移的效果会比较好；深度迁移网络中加入 fine-tune，效果会提升比较大，可能会比原网络效果还好；Fine-tune 可以比较好地克服数据之间的差异性；深度迁移网络要比随机初始化权重效果好；网络层数的迁移可以加速网络的学习和优化。

代码链接https://github.com/yosinski/convnet_transfer

6.Deep Domain Confusion: Maximizing for Domain Invariance

深度迁移学习最早期的代表性文章，虽然至今为止不知道发在哪里（一直只是在 arXiv 上），但是引用量很大，算是比较基础性的工作。值得一读。

7.Learning Transferable Features with Deep Adaptation Networks

深度适配网络（Deep Adaptation Netowrk，DAN）是清华大学龙明盛提出来的深度迁移学习方法，最初发表于 2015 年的机器学习领域顶级会议 ICML 上。DAN 解决的也是迁移学习和机器学习中经典的 domain adaptation 问题，只不过是以深度网络为载体来进行适配迁移。

8.Simultaneous Deep Transfer Across Domains and Tasks

传统的深度迁移学习方法只进行 domain confusion，这个文章加入了 task transfer，也就是说，充分考虑到类别之间的相似性。

9.A Unified Framework for Metric Transfer Learning

这篇文章的作者团队来自新加坡南洋理工大学，主要老板是 Sinno Jialin Pan，他是迁移学习大牛杨强的学生，《A survey on transfer learning》的第一作者。文章比较新，值得一读。

10.Adversarial Discriminative Domain Adaptation

ADDA 总结了 DA 领域的总体架构，提纲挈领。

代码链接

https://github.com/erictzeng/adda

https://github.com/corenel/pytorch-adda

12.Understanding How Feature Structure Transfers in Transfer Learning

IJCAI-17 最新文章，理解迁移学习中 feature 是如何进行 transfer 的。有两个大牛 Qiang Yang 和 Dacheng Tao 坐镇，文章肯定不差。

13.Associative Domain Adaptation

相比较 ADDA 而言，从很大程度上提升了 DA 的性能，值得一读。

代码链接https://github.com/haeusser/learning_by_association

14.Learning to Transfer

迁移学习领域比较新的研究方向，将迁移学习与增量学习结合起来，是开创性的工作。建议一读。