deeplearning 打卡第二天_深度学习趋势_1

本系列内容是对于Deep Learning一书的研读心得，将会在尊重原著及版权的基础上，加入一部分critical thinking。阅读请尊重Deep Learning原著版权。本系列欢迎评论转载，请注明出处。

本文中图片来源于原书Deep Learning，只用于学习交流，不得用于商业目的。

这段时间白天忙着学车，晚上回来有兴致了就读一段。进展不算快，但是也颇有乐趣，今晚写文章简记之。

这段时间仔细阅读了introduction部分，虽然没有硬性的技术，但是确实是从宏观的角度对deep learning做了解读。这种感觉就像是，有人把很多一流的领域综述，再做了一次synthesis。书中对于历史和潮流的反思确实有其深度，可见Bengio与Goodfellow涉猎之广，思维之深。

这一部分首先是讲述了deep learning的发展历史中重要的三股浪潮：控制论（cybernetics）、联结主义（connectionism）、深度学习（deep learning）。

控制论

在第一波浪潮中涌现出了一种重要的计算思想，即使用连接权子向量与输入向量做点积，生成输出值。

有时也表示为：

这种计算方式可以将输入映射为正与负两种情况，做最简单的分类器。但是可以发现，决定其分类效果的，就是其连接权子向量的值。依据现在的观点，连接权子应当由学习决定。

最先提出的两种具有对数据集的学习能力的模型，是感知机（perceptron）与自适应线性元（adaptive linear element，ADALINE）。由于是对于历史源流的回顾，作者回避了在序章中讲解细节性的算法，但是格外指出，ADALINE所使用的学习算法，是随机梯度下降（stochastic gradient descent，SGD）的特例。

基于这种方式实现的模型，被称为线性模型。同时指出，线型模型对于简单的异或问题是无能为力的。

联结主义

在深度学习领域，神经科学经常被视作重要的灵感源泉，但并非决定性的。这是因为，时至今日，人们也无法监测人们最为熟知的大脑区域中，相互连接的数千个神经元的相互活动。（译自原文）

应当承认，deep learning获得第二次飞跃的灵感，确实是受到了神经科学的启发，包含如下的几个基本事实：

（i）同一项任务，可以由大脑的不同区域协同完成。这意味着大脑中使用的是几乎相同的学习算法。这使得我们可以相信，同一种深度学习的算法可以解决许多不同领域的任务。

（ii）许多计算单元的相互协作，可以表现出“智能”。这是后来多层神经网络，如卷积神经网络，能够兴起的，一个神经科学方面的依据。

虽然神经科学为深度学习提供了灵感，但是应当承认，神经科学激发了关于神经网络的结构的设计，却并未提供与之等同的学习算法。

因此使用应用数学工具建立具有实效性的学习算法，与恰当的结构结合，解决需要智能的复杂问题是作者眼中deep learning的关键问题。同时于此区分开的，是“计算神经学”，即建立更为准确的模型来模拟脑的运行。依照作者观点，努力完善理论，并使得实践水平得以提高，应当是从事本领域的研究者应当话大力气去完成的，而并非一味追求模拟人脑。

在这样的大背景下，深度学习的第二波浪潮——联结主义兴起了。它基于80年代盛行的认知科学，但是并未采用当时认知科学中符号推理（symbolic reasoning），而是回到了40年代著名的心理学家Hebb先生的观点中去。

联结主义最核心的观点，即前文中提到的（ii），合作的简单单元可以表现出智能。这样的想法为神经网络方法引入了隐层（hidden layer）。

联结主义还为深度学习贡献了如下的想法：

（i）分布式表达（distributed representation）。相对原书中举出的例子，我想使用一个稍微抽象一点的示例。如果要表示集合A与集合B的笛卡尔积，一种方式是列出A中所有元素与B中所有元素可能的组合，共需要表达Card（A）*Card（B）种情况；还有一种方式，就是把集合A表示出来，把集合B表示出来，告知该集合中的元素（x，y），x取自A集合，y取自B集合，共需要表达Card（A）+Card（B）种情况。

因为绪论中并不包含严格的数学，所以我也是希望先尽量形象化地建立认知。我理解中，distributed representation做了一件什么事情呢？它做的事情，就是把复杂概念根据种类属性分解，得到的是许多小问题的综合。就像是图像识别，先选择一组神经网络来识别物体颜色，再选择另一组神经网络来识别物体形状，得到的结果是两者的线性组合。

虽然不知道这样说是否恰当，但是认知上与传统计算机科学中的“分治法”确实是非常相似。

（ii）反向传播（back-propagation）算法。联结主义为后世神经的研究留下的重要财富，即用于训练神经网络的BP算法，尤其是针对前向网络。

在神经网络由于联结主义第二次兴起的时间内，涌现出了具有对于序列建模的能力的循环神经网络（Recurrent Neural Network，RNN），其中，格外具有代表性的是今日用于自然语言处理的长短记忆网络（long short-term memory network，LSTM）。

神经网络方法的第二次衰落，有两点重要的原因，值得今人警醒：

（i）在实力尚未壮大之时，寻求资本力量的支持。
这导致在不能满足资本要求的时候，神经网络只能接受市场用脚投票的结果，暂时黯淡下去。

（ii）同时期的其他机器学习技术取得了突破。
此时核方法（Kernel machines，代表如支持向量机）与图模型（graphical models，核心方法是统计，代表如贝叶斯网络）取得了耀眼的成果。

下图表示了控制论与联结主义的影响力随时间变化的趋势：

深度学习

神经网络方法并没有因为第二次辉煌期的结束而黯淡下去，而是有着一批科研工作者默默为它的下一次崛起积蓄着力量。

这时候就不得不说一说深度学习领域的三位大牛了：

Geoffrey Hinton at University of Toronto，BP算法，深度学习之父；
Yann LeCun at New York University，将BP应用到CNN中，产生最早可以工业应用的神经网络；
Yoshua Bengio at University of Montreal，RNN的重要建设者；

他们title太多，数不过来，只取我知道且最为有名的。即使除去所有学术贡献，这三位在神经网络的低谷期所做的坚持，为神经网络方法复兴所做的努力，是饱含高尚的科学家情操的。

限制神经网络发展的重要原因，是其训练难度大，时间开销大。而深度学习所作出的突破口，也正是在这里。由Hinton先生提出的深度信念网络（deep belief network）使用了名为贪婪逐层预训练（greedy layer-wise pretraining）的方法，大幅度缩短了训练的时间和难度，因而允许使用者基于更大数据集训练更大规模（更深的）神经网络，也就得名深度学习（deep learning）。

值得注意的是，第三次浪潮本身包含着方向的转变，从最初对于小数据集与无监督学习的关注，转向大规模数据集与相对较老的监督学习。

今日笔记就到这里，写着写着就不觉时间与文章长度之变化。先观其大致，再察其细微，这一波历史，学得值得。