【Deep Learning】相关杂文

专访 | 杨强教授谈CCAI、深度学习泡沫与人工智能入门

https://mp.weixin.qq.com/s?__biz=MzAwNDI4ODcxNA==&mid=2652245155&idx=1&sn=d4526f25c26c360f754684e69f3255b0&chksm=80cc9506b7bb1c102500f84c507abd1f5c7b85ce958d0c821f227a86c6e0e00a53513cf3e08d&mpshare=1&scene=23&srcid=0706v6j1q4mOQgessVtsxE4x#rd

深度学习的迁移模型

第一，我们知道，深度学习的特点是用非线性把原始的特征从低层转化成高层，这个过程很复杂，它好处有目共睹，但副产品是特征分层。现在我们发现，这个层次对于迁移学习却是有好处的。它的一个好处，是能够对迁移学习的效果进行量化。也就是在不同的迁移目标下，知识从一个领域到另一个领域，不同的层次能迁移多少是可以定量的。


过去我们智能笼统地说能不能迁移，但现在我们可以精确地说哪一部分可以迁移，哪一部分不适合迁移。所以说，不是说所有的参数都能迁移，是有一部分的知识可以迁移，是一部分的参数、一部分的特征可以共享。


第二，有些参数负责描述一个领域的内容，有些参数负责描述一个领域的结构；结构的概念比较逻辑、高层、抽象，内容的概念比较细节、具体，那么描述结构这部分的参数就特别适合迁移。所以，我们现在还在寻找一种能把结构和内容区分开的模型，一种类似于深度学习的模型，从而把可迁移部分和不可迁移部分定量地分开。


第三，当几个不同的任务一起来学习的时候，往往会有一些惊人的发现，一些惊喜，这就是多任务学习。多任务学习往往会发现不同的领域所共有的这些知识，往往很容易抽象出高层的知识，也就很容易用来表达不同领域之间的共性。所以，多任务学习和迁移学习的目标是一致的，都是要实现比较稳定的知识表达，殊途而同归。


此外，我们还可以把迁移学习本身看成是一个学习任务。这就好比是我们的终身学习，每一次学新的任务时都能回想过去的经历，能够用来做迁移的就用来做迁移，而不是说这次学完下次从头再学……这种终生学习和学习如何迁移的系统，是我们现在的一个研究项目 ，就是 learning to transfer。

未来方向：（1）在计算速度、训练速度上如何加快，这非常重要；（2）把迁移学习很容易地推广到一些它没见过的小数据领域。自然语言是个突破口