deeplearning 打卡第三天_深度学习趋势_2

本系列内容是对于Deep Learning一书的研读心得，将会在尊重原著及版权的基础上，加入一部分critical thinking。阅读请尊重Deep Learning原著版权。本系列欢迎评论转载，请注明出处。

本文中图片来源于原书Deep Learning，只用于学习交流，不得用于商业目的。

继续分享Deep Learning一书中的内容与心得~

今天继续梳理deep learning的历史发展趋势，并且为第一章Introduction的分享划上句号。

deep learning的成功，也应当归功于下述三种影响深远的变化：

1.扩张的数据集规模
2.扩张的模型规模
3.不断提高的准确性、复杂性以及对现实世界的影响

1.扩张的数据集规模

作者一言道出非常重要的一个趋势：随着训练使用的数据集规模的不断扩大，深度学习对于参与者的门槛限制在逐渐降低。

我认为，这意味着未来深度学习将进一步普及，成为人人可用的工业级标准。但是与此同时，在人人都可以使用，都可以觉得自己懂那么一点深度学习的知识的时代，想要真正成为深度学习的专家，精通深度学习的某一个领域，难度也会不断增大。应当趁着深度学习不断普及的当下，快速进入这个领域并走在前列，这就意味着走在时代的前列啊！

同时值得注意的是，自上世纪八十年代至今，用于训练神经网络的算法是非常相似的，神经网络的结构实现了改进，以适应对更深层网络的训练，而真正带来深度学习的成功的原因在于，我们为这样的算法与模型结构，提供了足够其成长与成功的资源——数据。是数据集规模的扩张才真正实现了，将奋力解决玩具型问题的模型提升为如人一般自如解决现实的复杂问题的模型。

作者的这番话是高度肯定了大数据时代对于深度学习成功的影响。这也不足为奇，如果我们的计算机还不能像人一样聪明，可以举一反三，那就笨鸟先飞，见过足够的市面，方能处变不惊。

同时作者指出了，截止到2016，对于监督学习可以成立的一个粗略的经验规律：每类中有超过5000个标记数据可以达到能够接受的训练水平，每类中有超过一千万标记数据，可以使得模型达到超出人类的水平。

坦言之，对于高度时间敏感的计算需求，比如金融交易，我不清楚每类下一千万数据训练出的模型，对数据的反应时间能否满足交易要求？

针对这样大规模的数据集要求，作者指出了当前的研究方向：考虑更好地在无监督学习或者半监督学习下使用当前的大规模的未标记数据。

下图展示了深度学习解决问题所使用的数据集规模随着时间变化的规律：

2.扩张的模型规模

这算是深度学习这个名称的一个源头了——计算能力的提升，包括CPU和GPU的进步，后者尤甚，以及为并行计算服务的更好的网络连接与软件基础，极大地增强了我们组织大规模神经网络的能力。没错，神经网络正在变得越来越庞大，换言之，越来越“深”。

这与联结主义的观点相契合——单个的计算单元并没有特别之处，智能产生于大量简单单元的合作。自从隐层（hidden layer）出现以后，神经网络的规模就在以每2.4年翻一倍的速度增长。并且，如果没有允许更快速向量运算的技术出现，在2050年前，神经网络无法达到人类大脑神经元的规模。

下图展示了神经网络的规模随时间变化的趋势：

同时，神经元间连接的密度也是值得注意的现象：生物神经元并没有人工神经网络中高密度的连接，在后者中甚至接近人类的大脑，如下图所示：

3.不断提高的准确性、复杂性以及对现实世界的影响

深度学习在许多领域取得了巨大的成功，这推进了它的热度进一步提升。

以图像识别领域为例，深度学习模型如今已经至少可以识别上千个不同种类的对象，而30年前的1986年，只能识别很小的图像和简单的物体。

极为戏剧性的一幕出现在2012年图像识别领域的著名竞赛ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)中。卷积神经网络的参赛，使得识别的失误率由26.1%骤降至15.3%。自此以后，比赛的冠军就一直被深度学习的不同项目主宰着。而截至到2016年，失误率已经降至3.0%，超过了人眼的识别能力（约5%）。同时，深度学习已经可以识别一系列物体，而非过去的单独目标。

下图为截至至2015年的识别失误率，当时最优为3.6%：

值得注意的还有循环神经网络（RNN），如LSTM。RNN可以用于建模序列间的关系，这引发了机器翻译领域的革命性进展。

笔者认为，一个具有深远意义的结论是，RNN被证明是图灵完备的。这就意味着，RNN至少是有潜力去学习算法的。也就是说，如果我们把算法执行前后的数据不停地交给它，那么它是有潜力去把这个黑箱中的过程猜出来的。一个小的想法是，它能否通过学习旧有算法来创造新算法。

这样的一股潮流，最终的逻辑结果就是神经图灵机的产生。它现在拥有简单的自编程能力，未来可能的的潜力巨大。

另一个夺目的进展是，深度学习在增强学习方向上的扩展。其代表作是AlphaGo的成功，从单纯的深度神经网络，击败人类3-4段棋手，到深度学习、增强学习、蒙特卡罗模拟方法等众多方法综合产生的复杂系统，打败了人类的最高水平。位于英国的DeepMind是这种方法的主流代表。

最后，作者简单提及了深度学习主流的库，Theano (Bergstra et al., 2010; Bastienet al., 2012), PyLearn2 (Goodfellow et al., 2013c), Torch (Collobert et al., 2011b), DistBelief (Dean et al., 2012), Caffe (Jia, 2013), MXNet (Chen et al., 2015), and TensorFlow (Abadi et al., 2015)。令笔者印象深刻的是Torch（高效性）与MXNet（轻量级）。Google大力推动的TensorFlow与来自伯克利的更受年轻人欢迎的Caffe尚未感受过，但是Python的语言环境，还是非常适合上手学习的。

话不多讲，下一次就要进入应用数学与机器学习基础部分的学习了，应当主要以拾遗与拔高为主。