Google Brain学员计划第一期有哪些前沿研究？

文 / 副研究员 Luke Metz 和 2016 Google Brain 学员计划毕业生、软件工程师 Yun Liu

“我以前拥有统计学、物理学和化学的专业背景，Google Brain 学员计划是我第一次有机会接触深度学习和严肃编程。令我开心的是：在这里，我可以从五花八门的主题中自主选择自己想要研究的主题：计算机视觉和语言深度学习、强化学习和理论。我最初打算攻读统计学博士学位，但我在这里的体验激励我报名参加今年秋季开始的斯坦福 CS 课程！”

- 2016 Google Brain 学员计划毕业生

这个月，我们第一期 Google Brain 学员计划圆满结束了，这一年，我们取得了巨大的成功。这个为期一年的计划旨在为具备不同教育背景和经验的人提供深入研究机器学习和深度学习的机会。过去一年中，学员熟悉了文学，按照 Google 标准设计和实现了各种实验，参与了从理论到机器人再到音乐创作等各种主题的前沿研究。

迄今为止，首期学员课程已经在 ICLR (15)、ICML (11)、CVPR (3)、EMNLP (2)、RSS、GECCO、ISMIR、ISMB 和 Cosyne 等领先的机器学习出版期刊上发表了 30 多篇论文。另有 18 篇论文已投稿到 NIPS、ICCV、BMVC 和 Nature Methods，目前正在审查中。以上论文中有两篇发布在 Distill 上，探索了反卷积如何生成西洋跳棋棋盘：

http://distill.pub/2016/deconv-checkerboard

并展示了可视化手写生成模型的各种方法：

http://distill.pub/2016/handwriting

▲ 学员们发表的一篇 Distill 文章探讨了神经网络如何生成手写模型

▲ 此模型利用强化学习，通过优化计算任务在各个硬件设备上的分配对分布式深度学习网络进行大规模训练。有关更多详情，请参阅“利用强化学习优化设备配置”(Device Placement Optimization with Reinforcement Learning)（由 Azalia Mirhoseini 和 Hieu Pham 两位学员与 Q. Le、B. Steiner、R. Larsen、Y. Zhou、N. Kumar、M. Norouzi、S. Bengio、J. Dean 合著，已投稿至 ICML 2017）。

▲ 此方案旨在自动完成优化方法的探索过程，其重点是优化深度学习架构。“利用强化学习实现神经优化器搜索”(Neural Optimizer Search with Reinforcement Learning) 的最终版（由 Irwan Bello 和 Barret Zoph 两位学员与 V. Vasudevan、Q. Le 合著，已投稿至 ICML 2017）即将发布

学员们还为开放源代码社区做出了重大贡献，包括通用序列对序列模型（用作翻译范例）、音乐合成、模仿人类素描、对序列进行二次抽样，以用于模型训练、一种高效的模型“注意力”机制以及时间序列分析（尤其是在神经科学中的应用）。

本计划年度的结束标志着我们的学员即将在其职业生涯中再上一个台阶。许多人会作为全职员工加入 Google Brain 团队，继续其研究工作。其他人则选择在斯坦福大学、加州大学伯克利分校、康奈尔大学、牛津大学和纽约大学、多伦多大学和卡内基梅隆大学等学校攻读炙手可热的机器学习博士课程。看到他们的努力工作和学习经历促使他们跨上新的台阶，我们对此感到无比的自豪！

在我们的首期学员“毕业”之际，这周，我们也迎来了下一期 35 名才华横溢的学员，他们的经验和教育背景大相径庭，却都做出了同样的选择：加入我们的课程。我们迫不及待地期待看到他们如何在我们大获成功的首期课程基础上继续推动团队沿着新的、令人兴奋的方向前进。我们期待迎来又一个激动人心的研究和创新之年！

2018 年学员计划将于 2017 年 9 月开放申请。如需了解该计划的更多信息，请访问 g.co/brainresidency。

查看全文及论文链接，请点击文末“阅读原文”。

推荐阅读：

Google推出MultiModel，可同时学习8种不同任务

发布Tensor2Tensor，加快深度学习研究

TensorFlow Research Cloud能为你带来什么好处？

如何教机器绘画？

点击「阅读原文」，查看全文及论文链接