深度学习引发的思考和三巨头时代

        “在不久的将来，我们认为深度学习将取得更多成就，因为它只需要极少的人工参与，所以它能轻而易举地从计算能力提升和数据量增长中获得裨益。目前正在开发的用于深层神经网络的新型学习算法和体系结构必将加速这一进程。”                                                                  《自然》-深度学习一文                                                                                                                                                                      

1.第一次听到你的名字

        2013年10月的某一天，我在浙大硕士入学差不多一个多月，所在的CAD国家重点实验室内部举行了一次前沿技术分享的讨论会。本次的分享人是实验室的何晓飞教授（2005博士毕业于芝加哥大学，2016年4月份出任滴滴研究院首任院长，是国内乃至全球机器学习领域的大咖等等，总之很牛~），那是我第一次听说 Deep Learning （深度学习）这个名词。

        虽然是一次实验室内部分享交流会，但是有五六十个座位的屋子却挤得满满的，实验室里很多有资历和学术比较厉害的教授也都去了。（简单来说，这种场面还是比较少见，毕竟作为国内图形学领域一哥的CAD, 就算是国外某藤校大牛过来也未必能有这么高座次）。

        其实，作为吃瓜群众的我，当时和班上很多同学一样，并不是冲着分享内容去的，而是想过去看看年轻有为的大牛教授长啥样子，毕竟就是同一个实验室里面楼上楼下的关系。虽然何教授平时为人低调，甚至有一次食堂吃饭他和蔡登老师（也很牛~）就坐在我旁边桌上聊天。

        何老师当时分享的时候大概是这么说的：我们最近也是刚开始接触Deep Learning, 它的性能在很多Benchmark(数据库竞赛平台）上都取得了很大的提升，而且在语音和视觉等很多领域方面也表现很好, 有些方面的准确率甚至超过了人类。

        这么神奇的东西，大家听了以后肯定要想问个究竟。 所以好多教授副教授就开始提问了： 何老师，这个DeepLearning 这么神， 你能给咱大概说下它背后的工作原理是啥么？

        何老师停顿少许，脸上露出淡淡地微笑说： 实在抱歉，这个Deep Learning是怎么工作的，我还真不知道。据说目前世界上除了一个叫Hinton(辛顿）的老头，其他人都不是很了解。Hinton开个了个公司(DNNresearch), 被谷歌以重金收购了，但公司里只有三个员工，就是他自己和两个学生。

        听完这次分享会的时候，不知道大家是啥感觉，我的感觉是回去好好干活，Deep Learning这个东西对我只有两种可能：一是不靠谱，而是太遥远。

2 . 深度学习三巨头

        提起迈克尔－乔丹（Michael Jordan）这个名字， 相信全地球人都知道。为啥呢？　爱玩耍的同学知道他是篮球界的传奇，爱学习的同学知道他是机器学习的传奇。虽然这两老头不是一个人，但地球人都纳闷，为啥叫迈克尔－乔丹的人都这么牛？

        前者引领的公牛王朝六连冠战绩至今无人能破，今天就不说他了。后者现任加州伯克利大学教授，在许多年内是机器学习领域的泰山北斗之一，前百度深度研究院院长、斯坦福人工智能实验室主任吴恩达（Andrew Ng）就是他的得意门生之一，光是在美国常青藤当教授的徒子徒孙就有一大箩筐。所以乔丹有多牛，咱就不多废话了~

        但是咱今天的重点是说一股大风。这股风有多大呢，简单来说，这股风刮起来以后，全世界的人都在里头飘，有些是真的飘，有些是假的飘，还有些是装着飘~ 不过同时，这股风催生了这个时代三位和迈克尔-乔丹名气相当的男神，他们不仅在各大媒体电台上频频曝光，坐拥数以万计的粉丝，而且将会因为他们对于整个时代和人类历史进程的影响，将其姓名写入历史的功勋薄中。这股风叫做深度学习，这三个男神分别是杰弗里-辛顿（Geoffery Hinton）， 扬-勒丘恩（Yann Le Cun） 和 约书亚-本吉奥 （Yoshua Bengio）， 真想说，这三个人的中文名字写出来真累~     

        先说Hinton吧，现在是多伦多大学的教授，谷歌工程院士，也在负责谷歌大脑(google brain)的相关工作。资历最老，研究成果也丰富。上周还公开说目前风靡全球的深度学习框架太笨重，咱们要推倒重来，一般人说这话可能无关痛痒，但是老先生亲口说出还是令人佩服的，毕竟他‘坐了30年的冷板凳’才等到今天享誉全球、描出划时代的一笔。

        前两天出了个“信息瓶颈”理论说是揭示深度学习本质的东东，Hinton 说他要再看10000遍。真是羡慕老先生这种已经70岁仍然追求真理的科学精神。真希望他再多活50年~

        维基一段：杰弗里·埃弗里斯特·辛顿 （Geoffrey Everest Hinton）（1947年12月6日－）是一位英国出生的计算机学家和心理学家，以其在神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者。
 
        再说说Lecun吧（好像前段这哥们到清华演讲给自己取了个名字，叫杨立昆），纽约大学教授，目前是Facebook 人工智能研究院的院长。据说是第一个把神经网络成功应用的人。比较有名的就是1989年那篇用反向传播网络让自己识别手写1, 2，3，4，5……的论文。LeNet是深度学习入门的经典网络，就是用他名字取的。好像是三个里面曝光率最高的，毕竟是FB的院长，各国演讲签协议是少不了的~

        维基一下：扬·勒丘恩（法语：Yann Le Cun，英语：Yann LeCun，1960年7月8日—）是一位计算机科学家，他在机器学习、计算机视觉、mobile robotics和計算神經科學等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN)，他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。  

        最后说说Bengio吧，目测是三巨头里面唯一一个在学校全职工作的，他在加拿大的蒙特利尔大学当全职教授，是三巨头里最年轻的一位。Bengio的贡献主要在高级机器学习方面，比如自然语言处理等。去年出的《deeplearning》一书前两个作者就是他的学生Ian Goodfellow和Bengio。可能是Bengio太低调了，维基里头都找不到他的中文介绍，就谷歌翻译了一下。不过据说微软全球副总裁沈向洋已经向Bengio抛出橄榄枝了，FaceBook也在加拿大建立了研究院。　

        维基一下：Yoshua Bengio （1964年出生于法国 ）是加拿大 计算机科学家 ，最着名的是他在人工神经网络和深度学习方面的工作。 

本吉奥获得麦吉尔大学 理学学士 （电气工程），工程硕士 （计算机科学）和博士学位 （计算机科学）。 他是麻省理工学院博士后研究员（ 迈克尔·乔丹 ）和AT＆T贝尔实验室 。 班吉奥自1993年以来一直是蒙特利尔大学的教授，负责MILA（蒙特利尔学习算法学院），并担任加拿大高级研究所机器和大脑学习项目的联合主任。

        其实“三巨头”这个称谓不一定准确，但因为这三人作为推动人工智能和深度学习发展的杰出科学家，包括他们在15年联名在《自然》上发表论文，也经常一起“搞大事情”，为了给大家一个容易记的印象，所以姑且就这么称呼着吧。

3. 值得反思的东西？    

        假设，bengio最终把微软挖走，这样看来，谷歌、脸谱和微软三家都在AI布局中抢到了“法宝”。尤其看过他三个的履历后，发现这三个人分别来自英国和法国，并且是在加拿大一起工作的时候作出了重要成果，推动了深度学习的复兴。这样不得不佩服，美国大型科技公司在人才招揽方面的魄力和智慧（当然，还有一点，这个大家都懂~）。

        深度学习这个名词第一次是2006年由Hinton等人提出，虽然它的历史略早一些（这个之后会详扒）。也就短短十来年的时间，它席卷了整个学术界和工业界、以及生活的方方面面。

        我突然想起了三件事情： 第一件就是四年前第一次听到Deep Learning的时候， 觉得这东西很虚~  结果四年后开始着手做相关研究的时候，发现慢了许多步。第二件就是05上初中那会儿，第一次听说阿里巴巴，大家觉得网银和网购这事情非常不靠谱。第三件，就是时常听人说，机器人再怎么发展，也取代不了人~   第一件，过了十年，我笑了。第二件，过了四年我笑了，第三件，我听到的时候笑而不语。

参考文献【1】：维基百科

参考文献【2】：《自然》 2015 年5月刊《深度学习》  

我们致力于推广普及人工智能(AI), 让AI走进每个人的生活~

欢迎分享AI相关的人物轶事、工业应用、科普常识、动态前沿~

投稿邮箱：[e-mail]

                                                                                                                                                                                       ——《万众AI》 2017年第四期