解密谷歌机器学习忍者项目，如此培养人工智能人才

这不是武侠世界——她已经做到了。26岁的 Holgate 得到了第二条跆拳道黑带。这次是算法黑带。好几个星期 Holgate 都沉浸在一个程序中，这场比身体上的格斗更强大的训练教授她的是机器学习（ML）。谷歌 Android 部门的工程师 Holgate 是今年机器学习忍者项目（Machine Learning Ninja Program）的18名程序员之一，该项目从他们的团队中挑选有天赋的程序员参加，以《安德的游戏》的模式进行训练，来教授给他们人工智能技术。即使这会让他们写的软件更难以理解。

Carson Holgate，谷歌工程师，正在机器学习忍者训练中

「我们的口号是，你想成为机器学习忍者吗？」帮忙管理这个项目的谷歌机器学习团队的产品经理 Christine Robson 说 。「我们邀请谷歌的员工加入机器学习团队，与导师坐在一起，花6个月时间研究机器学习，同时做一些项目，并从项目实践中学习经验。」

对于约四年前带着计算机科学和数学学士学位来到谷歌的 Holgate 来说，这是一个掌握软件领域最热门的分支的机会：使用学习算法（学习者）并用大量数据来「教授」软件完成任务。多年来，机器学习被认为是一种只属于少数精英的学科。但现在这个时代结束了，最近的结果表明：由模仿生物大脑运作方式的神经网络驱动的机器学习，是赋予计算机以人类力量甚至超人力量的正确途径。谷歌致力于在内部扩张精英团队，并期望将其变成一种常态。对于像 Holgate 这样的工程师，忍者项目是跻身技术前沿的机会——从最优秀的工程师那里学习最先进的技术。「这些人正构建着荒唐的模型并且拥有博士学位。」她掩饰不住声音中的畏怯。她甚至得慢慢接受这个项目将其学生称为「忍者」的事实。「起初，我很害怕，但是我学会接受了它，」她说。

谷歌 60000 名员工中几乎有一半是工程师，所以这是个小项目。但是该项目象征着这家公司的认知转换。虽然长久以来机器学习就是谷歌技术的一部分，而谷歌已经雇佣了不少该领域顶级专家，但是这家公司从 2016 年开始似乎变得对这项技术更感兴趣了。在去年年底的一次电话会议上，谷歌总裁 Sundar Pichai 提出了这家公司的新愿景：「机器学习是核心，是我们重新思考我们所做的事情的变革方式。我们正想尽办法将它应用到我们所有产品中：搜索、广告、YouTube 或应用商店。我们仍处于初期阶段，但你可以发现，我们正在以系统化的方式将机器学习应用到所有的地方。

显然，如果谷歌想在它所有的产品中应用机器学习，它需要掌握这项与传统编程方式完全不同的技术的工程师。正如 Peter Domingos 在机器学习领域非常受欢迎的《The Master Algorithm》一书中所写的，「机器学习是一项朝阳技术，是一种自我构建的技术。」编写出这样一个系统你需要做如下工作：识别正确的数据，选择正确的算法，确保你构建了成功运行的正确条件，最后相信这个系统的工作能力（当然这对于程序员来说很困难）。

「用这种方式思考如何解决问题的人越多，我们就会做得越好，」谷歌的机器学习团队领导者 Jeff Dean 说。他估计现在在谷歌的 25000 名工程师中，只有几千人精通机器学习。或许是百分之十。他希望这个比例接近百分之百。「如果每个工程师都至少有一些机器学习的知识就好了，」他说。

他认为这会变成现实吗？

「我们正打算尝试，」他说。

经过多年，John Giannandrea 已经是谷歌机器学习领域的关键人物，另外他最近还成为了谷歌搜索部门的负责人。但是 2010 年来谷歌的时候，他对于机器学习或神经网络并没有太多了解。2011 年左右，一些来自神经信息处理系统峰会（Neural Information Processing Systems ,简称 NIPS）的新闻让他感到非常震撼：似乎在每年的 NIPS 上，总有一些团队会宣布使用机器学习颠覆此前一直难以突破的问题，比如翻译，语言识别，或视觉问题等。令人惊讶的事情正在发生。「我第一次听说这个 NIPS 峰会时，它并不出名，」他说。「但是在过去的三年里，这个领域从学术到工业的参会者数量激增。去年大约有 6000 人参加。」

Jeff Dean : 谷歌权威计算机科学家

这不仅促进了神经网络算法的发展，也带来了来自摩尔定律效应的更强大的计算能力，还有从谷歌、Facebook 等企业的海量用户行为中获取的数据也出现了指数级增长 ，机器学习不断提高的新时代开始了。Giannandrea 与一些人一样，相信机器学习是谷歌的关键。与他持有相同意见的还有谷歌大脑（Google Brain）的联合创始人 Dean ，谷歌大脑是谷歌长期研究部门 Google X （现在就是简单称为 X）发起的神经网络项目。

谷歌迫不及待地拥抱机器学习的热情不仅仅意味着编程技术的转变，更是对科技作出的郑重承诺——承诺将赋予计算机从未拥有过的高超能力。这项技术的最前沿是受到大脑结构启发的围绕复杂的神经网络构建的「深度学习」算法。谷歌大脑是深度学习上的努力尝试，而谷歌 2014 年 1 月以 5 亿美元买下的人工智能企业 DeepMind  同样把重点放在研究深度学习上。打败围棋世界冠军的 AlphaGo 系统就是 DeepMind 设计的，这粉碎了人们对智能机器表现的期待，引发了对可怕的智能机器和杀人机器人的一波又一波的担忧。

对于「人工智能将会杀死我们」阵营，虽然 Giannandrea 不屑一顾地将他们看作不太了解情况的 Cassandra 先知（希腊神话中不被人相信的女先知），但 Giannandrea 同样认定，不管是在医疗诊断还是在汽车驾驶领域，机器学习系统都将会是颠覆性的。虽然机器学习不会取代人类，但它会改变人性。

Giannandrea 举例说明了机器学习的力量，比如 Google Photos, 这款产品的定义特征是一种奇特的——甚至让人烦扰——的能力，即要将用户特别指出的某物的图像定位出来。让我看看边境牧羊犬的图片。「人们第一次体验这种能力的时候，他们会认为正发生着一些不同的事情，因为计算机不再只是通过计算为你生成推荐内容，或者建议你看什么视频了。」Giannandrea 说，「事实上计算机正在理解图片中的内容。」他解释道，通过这个学习过程，计算机「知道了」边境牧羊犬长什么样子，还会找到这种类型的狗在小时候、年老的时候、毛发长的时候和剪毛后的照片。当然，人也可以做到这点。但没有一个人能够将 100 万个样本分类和同时识别出 1 万种狗的品种。但机器学习系统可以。系统学到了一个品种，就能用同样的技术识别剩下的 9999 种。「这是个真正新的领域。」Giannandrea 说，「在某些狭窄领域内，你可以看到一些人认为这些学习系统实现了超人级的表现。」

不可否认的是，谷歌一直都很理解机器学习的概念，谷歌的创始人更是追随人工智能力量一生的信徒。谷歌产品中已经融入了机器学习，虽然最近神经网络的关注度更高一些。（早期的机器学习经常依赖于一种更直接的统计方法。）

事实上，谷歌给工程师教授机器学习的内部课程已经超过十年时间了。2005 年初，当时负责搜索业务的 Peter Norvig 向研究科学家  David Pablo Cohn 建议，他应该调查谷歌是否可以采用卡耐基梅隆大学组织的项目中的在线课堂。Cohn 的结论是，只有谷歌自己才能教授这样的内部课堂，因为谷歌的运营规模远远超过其他机构（可能国防部除外）。因此，Norvig 在 43 号楼（搜索团队当时的总部）预订了一个大房间，每周三举行一次两小时的会议，就连  Jeff Dean 也参加了几次。「那是全世界最好的课堂。」Cohn 说，「他们都是比我更优秀的工程师！」这个课程火了，局面甚至有些失控，印度班加罗尔办公室的人直熬到下半夜才能打进预订电话。几年以后，一些谷歌人一起将这些课程做成了短视频，不再进行现场会议。Cohn 相信，这可能是 MOOC （大规模开放式在线课程）的前身。接下来的几年里，谷歌还进行了其它几次机器学习训练的尝试，但这些尝试缺乏条理和连续性。2010 年 Cohn 离开谷歌之前曾说，谷歌的机器学习 「突然变成了第一要务。」

Cohn  的这句话直到2012年才真正付诸实践，Giannandrea 当时有个想法，要「弄一大堆做这个的人」，把他们放到一栋单独的楼里，已经从 X 部门「毕业的」谷歌大脑（Google Brain）也加入了这个团队。「我们将很多团队整个搬过来，让他们在一座楼里工作，还买了个很棒的新咖啡机。」他说，「之前研究所谓的感知（perception）——即声音、语音理解等——的人现在要跟之前研究语言的人一起探讨。」

渐渐地，能够体现工程师在机器学习方面的付出的谷歌流行产品越来越多。因为主要的机器学习领域包括视觉、语音、声音识别、翻译，因此毫不奇怪地，机器学习成为了语音搜索、翻译、照片等的关键部分。更让人关注的工作是让机器学习无处不在。Jeff Dean 是  Big Table 和 MapReduce 等颠覆性系统的共同创建者。他说，他和他的团队开始进一步理解机器学习，正在以更加雄心勃勃的方式进行探索。「之前，我们可能会在一个系统中的几个子组件中采用机器学习」他说，「现在。我们其实在用机器学习取代整套系统，而不是为每个部分构建更好的机器学习模型。」Dean 说，如果他要在今天重写谷歌的基础架构，那么架构的很多内容将不是用编码，而是用学习获得。

Greg Corrado, Google Brain 的联合创建者， 与产品组一起工作将人工智能添进他们的软件中

同时，机器学习还让之前不可想象的产品功能成为了可能。比如，去年11月新发布了 Gmail 的智能回复（Smart Replies）功能。刚开始，谷歌大脑项目的联合创始人 Greg Corrado 与 Gmail 工程师 Bálint Miklós 进行了一次对话。Corrado 之前曾与 Gmail 团队合作过，一起研究在垃圾邮件检测和邮件分类中机器学习算法的使用，但 Miklós 提出了一个更激进的方法。如果团队发明通过机器学习自动为邮件生成回复的方法，让移动用户免于在小键盘上敲下回复的麻烦，这怎么样?「我当时其实惊呆了，这个提议看起来太疯狂了。」Corrado 说，「但后来我觉得，我们或许可以用正在做的神经网络预测技术实现这一点。而且一旦我们意识到存在可能，我们就必须去尝试。」

谷歌让  Corrado 和他自己的的团队，以及 Gmail 团队保持紧密合作，这更增加了实现的可能性。机器学习专家进入产品组的做法越来越普遍。「机器学习既是一门科学，也是一门艺术，」Corrado 说，「就像做饭一样，虽然涉及到化学原理，但是要做一些真正有趣的事情，你必须要知道如何将面前的配料结合起来。」

用于语言理解的传统人工智能方法取决于系统中嵌入的语言规则，但这个项目中，与所有现代的机器学习一样，该系统被填喂了足够用于自学的数据，就像孩子一样，「我不是跟着语言学家学习说话，而是通过听别人说话学会的。」Corrado 说。

然而，使智能回复真正可行的是：这种成功可以很轻松地定义成——不是创造一个只会和用户调情式聊天的虚拟的 Scarlett Johansson（指电影《她》中的智能操作系统） ，而是真实生活邮件的合理回复。「成功就像是，用户觉得机器生成的备选回复是有用的，可以用作自己真正的回复。」他说。因此不管用户是不是点击了机器建议的回复，这些系统都能进行训练。

然而，该团队开始测试智能回复 的时候，用户注意到一件奇怪的事：系统经常建议不合时宜的浪漫的回复。「其中一个失败的模式就是，它在不知如何回复的任何时候，总会歇斯底里地倾向于说『我爱你』。」」Corrado 说，「这不是软件漏洞，而是我们错误地让它做了这件事。」该程序某种程度上学会了人类行为微妙的一面：「比如，你在走投无路的时候，说『我爱你』就会是一个很好的防御策略。」Corrado 后来帮助将团队的这种热情缓和下来。

去年 11 月发布的智能回复取得了成功——现在 Gmail Inbox 应用的用户通常不用自己打一个字，从三封推荐的邮件选择一封就可以完成回复。这些推荐邮件的内容经常合乎情理得不可思议。手机 Inbox 用户发送的回复中十分之一都是机器学习系统创建的。「这个产品能够成功，我多少还是有些吃惊的」 ，Corrado 大笑着说。

在谷歌证明机器学习高效性的实例组成的稠密图（dense graph）中，Smart Replies 只是其中的一个数据点而已。但是当机器学习成为搜索业务的重要部分的时候，或许转折点才终于到来。搜索业务是谷歌的旗舰产品，是占据谷歌几乎所有收入的金库。某种程度上，搜索一直都基于人工智能。但很多年来，该公司最珍贵的算法，这个曾为我们带来「ten blue links（回复谷歌搜索请求的十条蓝色链接）」的算法，注定是机器学习算法的重中之重。「因为搜索是谷歌一个非常大的组成部分，搜索的排序能力也取得了高速的进化，很多人都怀疑你是否能改变这个局面。 」Giannandrea 说。

某种程序上，这是一种文化抵制——这是让控制狂一样的大师级黑客采用禅式风格的机器学习方法上存在的普遍挑战的顽固缩影。Amit Singhal 久负盛名的搜索大师曾是传奇计算机科学家 Gerald Salton 的助手。Salton 在文档检索方面的开创性工作启迪了 Singhal  帮助修改了 Brin 和  Page 的研究生代码，将其变为可以扩展用于当今网络时代的程序。（这使他进入了「检索者（retriever）」学院。）他从这些 20 世纪方法中梳理出了惊人的结果，并且有人怀疑是他将一些学习者带入了这个相当于谷歌命脉的复杂系统。「在谷歌的前两年，我在搜索质量部门工作，用机器学习提升排序能力。」David Pablo Cohn 说。「结果证明，Amit 的机构是世界上最好的一个，我们对 Amit 大脑中所有的东西都进行了硬编码，并取得了进一步进步。没有别的方法能超越他的了。」

2014 年初，谷歌的机器学习大师认为需要有所改变。「我们与排序团队进行了一系列讨论。」Dean 说，「我们说，我们应该至少尝试下这个东西，看看是否会有收获。」Dean  团队设想的那个实验，后来证明对搜索能力至关重要：排序中的一个文件和查询请求的匹配程度会有多好（根据用户是否点击进行计算）。「我们可能只是说了句，试着根据这个神经网络计算出这个额外分数吧，看看它有没有用。」

结果是有用的，该系统现在是搜索的一部分，名为 Rank Brain ，于 2015 年 4 月上线。谷歌还是秉持它以往的特色，在该系统究竟如何提升搜索性能上含糊不清（一些和长尾效应相关的东西？模糊请求的更好解读？），但 Dean 说，「 Rank Brain 融入到了每次查询中」，而且「或许不是在每次查询中，但也是大量查询中」都影响了实际的排名。另外，该系统效果显著。谷歌搜索在计算排名时使用的几百个「信号（signal）」（用户的地理位置，或页面的头条与查询的文本相匹配都可能是信号）中，Rank Brain 的有用性排名第三。

「我们成功使用机器学习将搜索做得更好了，这对公司来说是有重要价值的，」Giannandrea 说：「这引起了很多人的关注。」华盛顿大学教授、《The Master Algorithm》的作者 Peter Domingos 用另外的方式说到：「这种战斗一直存在于检索者和机器学习人之间，机器学习者最终赢得了这场战斗。」

谷歌的新挑战是转换其工程团队以使大家都熟悉机器学习——哪怕不擅长机器学习。这是现在其它许多公司也在追求的目标，尤其是 Facebook，该公司和谷歌一样是机器学习和深度学习领域的巨鳄。对这一领域内应届毕业生的招聘竞争是很激烈的，谷歌力图维持其早期的领导地位；多年来，学术界都有一个笑话：即使谷歌不需要，也在聘用最顶级的学生，而这只是为了避免他们去竞争对手那里。（这个笑话错过了这个点：谷歌确实需要他们。）Domingos 说：「我的学生，不管是谁，总是会收到谷歌的 offer。」而这件事变得更激烈了：就在上周，谷歌宣布其将会在苏黎世开设一个全新的机器学习研究实验室，那会有一大堆工作岗位需要填补。

但因为学术项目还尚未产出大量机器学习专家，所以对工作人员进行再训练是必要的。而这并不总是一件简单的事，尤其是在谷歌这样的公司——有很多一生时间都在用传统编程实现「魔法」的世界级的工程师。

机器学习需要不同的思维方式。人们变成编程大师通常是因为他们是从通过实现对编程系统的完全控制中成长起来的。机器学习还需要掌握一定的数学和统计学，而这是很多编程者，甚至是那些能将程序压缩到让人吃惊的长度的疯狂黑客们都从来不屑于学习的东西。

Christine Robson 的工作是向谷歌人和机器学习技术领域内的外部人士灌输这个概念

这也需要相当程度的耐心。「机器学习模型并不是一段静态的代码——你要不断给它填喂数据。」Robson 说，「我们不断更新模型和学习、增加更多数据，还有比如像是调整我们未来做出预测的方式。它让人感觉就是一个活生生的、有呼吸的东西。这是不同类型的工程开发。」

「实际上这是一个使用不同的算法进行实验的学科，或关于哪个训练数据集在你的使用案例上工作效果真正好的学科。」Giannandrea 说，尽管他已是搜索的掌控者，但他仍然认为在内部传播机器学习的福音仍然是他工作的一部分。「计算机科学的部分不会走远。但对数学和统计学的关注会更多，而对编写五十万行代码的关注则会减少。」

至于谷歌，这一障碍可以通过聪明的再训练而跳过。「在训练的一天结束时，这些模型中所使用的数学就不再那么复杂了，」Dean 说，「对于我们在谷歌雇佣的大部分工程师而言，这都是可以实现的。」

为了进一步帮助日益增长的机器学习专家团队，谷歌打造了一套强大的工具帮助工程师在训练算法时选择正确的模型，并加速训练和提炼的过程。这些工具中最强大的是 TensorFlow，一个能加速神经网络构建过程的系统。TensorFLow 由谷歌大脑团队开发，Dean 与他的同事 Rajat Monga 共同参与了其发明；它能通过规范系统开发中通常很乏味和深奥的细节来帮助机器学习变得大众化——尤其是 2015 年 12 月谷歌将其开放给公众之后。

尽管对人工智能社区散播的这种利他主义行为让谷歌遭受痛苦，但它也承认熟悉其内部机器学习工具的新一代程序员对谷歌的招聘来说是相当好的。（怀疑者指出谷歌开源 TensorFlow 是为了追赶 Facebook，Facebook 在 2015 年 1 月公开发布了用于早期机器学习系统的深度学习模块 Torch。）尽管如此，TensorFlow 的特点加上谷歌的认可，使其很快就成为了机器学习编程圈子里的一个最爱。据 Giannandrea 说，当谷歌提供其第一个在线 TensorFlow 课程时，有 75,000 万人报名。

谷歌仍然为它自己的程序员保留了很多好东西。在内部，该公司有一个可能无可比拟的补充机器学习的工具箱，Tensor Processing Unit（张量处理单元，TPU），其中最重要的是这个创新公司他们已经使用了多年，但直到最近才宣布出来。TPU 是一种专为运行机器学习语言程序而优化过的微处理器芯片，就像图形处理单元（GPU）是专门为加速屏幕上像素的计算这一单一目而设计的一样。该公司的巨型数据中心的服务器里恐怕已有成千上万个 TPU 了（可能只有上帝和 Larry Page 知道有多少）。通过赋予其神经网络运算以超能力，TPU 已经给谷歌带来了巨大的优势。Dean 说：「如果没有它，我们完成不了 RankBrain。」

但由于谷歌最大的需求是设计和完善这些系统的人，就像该公司正在紧锣密鼓地完善其软件训练工具一样，它也在疯狂地打磨其训练机器学习工程师的实验。它们的范围从小到大。后一类包括快餐式的两天「使用 TensorFlow 的机器学习速成班」，包含了幻灯片和练习。谷歌希望这只是初步尝试，工程师随后会寻找资源从而学习更多。Dean 说：「我们已经有数千人报名这个课程的下一次开课。」

其它还有一些较小的工作也在将外部人士吸引到谷歌的机器学习中。今春早些时候，谷歌启动了 Brain Residency 项目，该项目的目的是为了将有前途的外部人士带进谷歌大脑团队内部进行为期一年的密集训练。「我们将其称之为你的深度学习事业起跳的开始，」帮助管理该项目的 Roboson 说。尽管初始项目中来自不同学科的 27 位机器学习学员中可能会有一些最终会留在谷歌，但其所声称的该班级的目的是将他们放归到野外，使用他们的超能力在整个数据地球上传播谷歌的机器学习版本。

所以从某种意义上说，在一个机器学习正在占据舞台中心的世界里，以人工智能为中心的谷歌有维持自己主导地位的计划，而 Carson Holgate 在她的忍者课程中学到内容正是以这个计划为中心的。

她的课程开始于为期四周的新兵训练营，在这里谷歌最先进的人工智能项目的产品领导人训练他们了解将机器学习整合到项目过程中的细微之处。「我们将忍者带进了会议室，Greg Corrado 在那里写着白板、解释 LSTM（长短期记忆——一种可以创造强大的神经网络的技术）、做着夸张的手势、展示这是到底是如何工作的、其中有什么数学、怎么将它用到产品中。」Robson 说，「在开始的四周里，我们做这件事的时候基本上使用到了我们有的每一项技术和我们工具箱里的每一种工具，从而让他们能真正沉浸式地深入。」

Holgate 成功通过了新兵训练营，现在她正使用机器学习工具在安卓系统上开发能帮助谷歌人互相交流的通信功能。她调整超参数（hyperparameter），整理她的输入数据，剥离出停止词（stop word）。但她已经不可能回头了，因为她知道这些人工智能技术就在这里，而且是谷歌的未来，也许是所有技术的未来，或者所有事物的未来。

「机器学习，」她说，「在这里有巨大的分量。」