一文告诉你，NIPS 2017有多火爆 | 附PPT、视频、代码大总结

原文来源：Medium、GitHub

作者：TarasSereda

「雷克世界」编译：嗯~阿童木呀、KABUDA

今年的NIPS是一场盛大的、极富教育意义和探索精神的、魅力十足且人数众多的会议。

第一步，登记排队

 

量子计算机

Tutorials

深度学习：实践与趋势

我参加了“趋势”部分，我所看到的让我感到好笑，首先，我认为这个tutorial不适用于初学者（这是一种抽象说法）。可以说，它是一个结构良好，更加适用于深度学习从业者的产品导向材料。主要趋势是：域调整/适应；基于图形的神经网络、程序归纳等。从I/O、模型架构和损失的角度分析了每种趋势。Orilo Vinyals还介绍了主要的Mete方法：

视频： https://www.youtube.com/watch?v=YJnddoa8sHk

 

使用概率程序、程序归纳和深度学习的工程与可逆工程智能

 

概率编程是非常出色的，但或许出于其复杂性的原因，它的应用并不广泛。它为你提供了一种以概率方式描述问题的途径，这是现实世界的自然表现。你可以在参数、模型输入和输出中编码不确定性，并获得一组程序执行的预估痕迹。

这个领域正在快速发展，并且可为你提供大量工具。我认为使用概率编程领域的想法可以帮助解决在追踪对抗样本方面的问题。

未来的研究方向包括：

•与深度学习的融合

 

•为蒙特卡洛推理建立快速的运行时间(“BLAS”for Monte Carlo)

 

助力未来100年——受邀嘉宾John Platt所带来的的演讲。

 

鼓舞人心的想法和分析——关于将聚变作为能源来源的重要性。此外，作者还提供了一个交互式工具的链接，你可以在其中使用不同比例的能源及其组合来满足约束条件。https://google.github.io/energystrategies

 

为了使聚变能够成功，有许多事情要做。首先它应该消耗更多的能量，这个过程应该是可扩展的，对于最终用户来说它是最重要的因素。据估计，到2020年，这些先决条件中的一部分应该会是非常充分的。

 

详尽的陈述

配对数据图像翻译

注意机制的规划和可替代方案

双曲空间中的分层嵌入

注意（Attention）是你所需要的

 

研讨会

 

音频信号处理的机器学习（ML4Audio）

http://media.aau.dk/smc/ml4audio/

 

杰出的音频研究员研讨会

 

声学词嵌入。目标——在一些高纬度的空间中建立一种表示，其中，相似的口语词彼此之间的距离较小。这个问题比文本域要复杂得多。因为人们说一个单词的方式是多种多样的。相应的波形因扬声器而异，也取决于韵律和材质。长短期记忆网络（LSTM）可用于生成一个口语词的固定长度向量表示，还可以用于模拟嵌入空间的对比损失技术。这种方法也是多视角的，这意味着字符和声音的表现是共模的。

 

论文：https://arxiv.org/abs/1611.04496

代码： https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings

谷歌的玩家在Tacotorn TTS模型上展示了一些改进，这些模型可以捕捉说话者的风格。其主要思想是学习一个“风格原子词汇”（style atomic vocabulary），并使用“风格原子”的线性组合形成一个风格向量，作为生成下一个波形时间步长的条件。调节是通过注意机制来实现的。通过简单预测风格向量的标量权重，完全连接层被用来决定应该将在哪种类型的文本注意（textattention）和风格注意（style attention）进行混合。

 

可用样品：https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html

 

机器学习的创意和设计

 

学习解构特征：从感知到控制

 

这个研讨会探讨的主要话题是关于可控生成模型，1年前只有InfoGAN被提出（据我所知），现在有更多的想法被提出来。其中之一是ß-VAE，当KL损失项被加权时，其只传递使编码数据发生变化的信息，以便约束信息瓶颈（informationbottleneck）被分离。

 

这个领域是尚没有人的经验可以借鉴，因此没有常见的方式来衡量分离程度，DeepMind提出了改进ß-VAE和新分离程度的度量方法。

 

 

今年在加州长滩会议中心举行的2017年神经信息处理系统（NIPS）会议可谓是有史以来最大的一次会议！以下是所有受邀嘉宾的演讲、教程和研讨会的资源及幻灯片清单。

  

内容包括以下几个方面：

 

1.受邀嘉宾演讲

 

2.教程

 

3.研讨会

 

4.WiML

 

受邀嘉宾演讲

 

•助力未来100年——John Platt

 

•为什么人工智能够使人类基因组重编程成为可能——Brendan J Frey

视频链接：https://www.youtube.com/watch?v=QJLQBSQJEus

 

•偏差所带来的问题——Kate Crawford

视频链接：https://www.youtube.com/watch?v=fMym_BKWQzk

 

•结构的不合理有效性——Lise Getoor

视频链接：https://www.youtube.com/watch?v=t4k5LKCpboc

 

•机器人深度学习——Pieter Abbeel

幻灯片链接：https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf

 

视频链接：https://www.youtube.com/watch?v=po9z_tMuEwE

 

•学习状态表征——Yael Niv

 

•贝叶斯深度学习与深度贝叶斯学习——Yee Whye Teh

视频链接：https://www.youtube.com/watch?v=9saauSBgmcQ

 

•AlphaZero—掌握没有人类知识的游戏­——DavidSilver

视频链接：https://www.youtube.com/watch?v=A3ekFcZ3KNw

 

Tutorial

 

•深度学习：实践与趋势——Nando de Freitas、Scott Reed、Oriol Vinyals

幻灯片链接：https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p

 

视频链接：https://www.youtube.com/watch?v=YJnddoa8sHk

 

•Reinforcement Learningwith People——Emma Brunskill

视频链接：https://www.youtube.com/watch?v=TqT9nIx27Eg

 

•优化运输的初级入门——Marco Cuturi、Justin M Solomon

幻灯片链接：https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf

 

•用高斯过程进行深度概率建模——Neil D Lawrence

幻灯片链接：http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

 

•机器学习的公平性——Solon Barocas、Moritz Hardt

幻灯片链接：http://mrtz.org/nips17/#/

 

•统计关系人工智能：逻辑，概率和计算——Luc De Raedt、David Poole、Kristian Kersting、Sriraam Natarajan

 

•使用概率程序、程序归纳和深度学习进行的工程和可逆工程智能——Josh Tenenbaum、Vikash K Mansinghka

 

•可微私有机器学习：理论、算法和应用——Kamalika Chaudhuri、Anand D Sarwate

幻灯片：http://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf

 

•关于图和流形的几何深度学习——Michael Bronstein、Joan Bruna、arthur szlam、Xavier Bresson、Yann LeCun

 

研讨会

 

1. 2017机器学习系统研讨会（http://learningsys.org/nips17/index.html）

 

与会嘉宾：Aparna Lakshmiratan、Sarah Bird、Siddhartha Sen、Christopher Ré、Li Erran Li、Joseph Gonzalez、Daniel Crankshaw

 

•用于新兴AI应用程序的分布式执行引擎——Ion Stoica

 

•学习数据库索引的案例

 

•联合多任务学习——Virginia Smith

链接：http://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf

 

•在数据中心规模上加速持久性神经网络——Daniel Lo

链接：http://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf

 

DLVM：神经网络DSL的现代编译器框架——RichardWei、Lane Schwartz、Vikram Adve

链接：http://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf

 

•系统性机器学习系统和机器学习系统——Jeff Dean

链接：http://learningsys.org/nips17/assets/slides/dean-nips17.pdf

 

•使用ONNX为AI模型创建一个开放灵活的生态系统——Sarah Bird、Dmytro Dzhulgakov

链接：http://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf

 

•NSML：一个能够让你专注于你的模型机器学习平台——Nako Sung

链接：http://learningsys.org/nips17/assets/slides/nsml_slides.pdf

 

•DAWNBench：一个端到端的深度学习基准和竞争机制——Cody Coleman

链接：http://learningsys.org/nips17/assets/slides/dawn-nips17.pptx

 

2.贝叶斯深度学习（http://bayesiandeeplearning.org/）

 

与会人员：Yarin Gal、José Miguel Hernández-Lobato、Christos Louizos、Andrew GWilson、Diederik P、(Durk) Kingma、Zoubin Ghahramani、Kevin P Murphy、Max Welling

 

•为什么你不使用概率编程呢？——Dustin Tran

链接：http://dustintran.com/talks/Tran_Probabilistic_Programming.pdf

 

•用马蹄形先验（HorseshoePriors）在BNN中进行自动模型选择——Finale Doshi

 

•用于分布式学习、不确定性量化和压缩的深度贝叶斯——Max Welling

 

•作为近似贝叶斯推理的随机梯度下降——Matt Hoffman

 

•自回归生成模型的新进展——Nal Kalchbrenner

链接：https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view

 

•深度内核学习——Russ Salakhutdinov

 

•用反向传播进行的贝叶斯推理——Meire Fortunato

 

•深度学习层如何通过随机梯度下降来收敛到信息瓶颈限制？——Naftali (Tali) Tishby

 

3.学习有限的标记数据：弱监督和超监督（https://lld-workshop.github.io/）

 

与会人员：Isabelle Augenstein、Stephen Bach、Eugene Belilovsky、Matthew Blaschko、Christoph Lampert、Edouard Oyallon、Emmanouil Antonios Platanios、Alexander Ratner、ChristopherRé

 

•Welcome Note

链接：https://lld-workshop.github.io/slides/opening.pdf

 

•功能磁共振成像启发：从有限的标记数据中学习——GaëlVaroquaux

链接：https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf

 

•从有限的标记数据学习（但存在很多未标记的数据）——Tom Mitchell

链接：https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf

 

•结构化预测能量网络的光监督——Andrew McCallum

链接：https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf

 

•强制神经连接预测器的按则播放——Sebastian Riedel

链接：https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf

 

•小组：医学成像中有限的标记数据——Daniel Rubin、Matt Lungren、Ina Fiterau

链接：https://lld-workshop.github.io/slides/radiology_panel_lld.pdf

 

•样本和计算有效的主动学习算法——Nina Balcan

链接：https://lld-workshop.github.io/slides/nina_balcan_lld.pdf

 

•这并不明智！对模型解释进行积极注释的个案研究——Sameer Singh

链接：https://lld-workshop.github.io/slides/sameer_singh_lld.pdf

 

•用生成式对抗网络克服有限的数据——Ian Goodfellow

链接：http://www.iangoodfellow.com/slides/2017-12-09-label.pdf

 

•自然语言理解的难点在哪里？——Alan Ritter

链接：https://lld-workshop.github.io/slides/alan_ritter_lld.pdf

 

•结束语

链接：https://lld-workshop.github.io/slides/closing.pdf

 

座谈会

 

1.可解释的机器学习

链接：http://interpretable.ml/

 

与会人员：Andrew G Wilson、Jason Yosinski、Patrice Simard、Rich Caruana、William Herlands

 

•因果关系在可解释性中所发挥的作用——Bernhard Scholkopf

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf

视频链接：https://www.youtube.com/watch?v=9C3RvDs_hHw

 

•大型图像数据集中的可解释性发现——Kiri Wagstaff

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf

视频链接：https://www.youtube.com/watch?v=_K2wVfi_KDM

 

•（隐藏的）校准成本——Bernhard Scholkopf

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf

 

•小组讨论会

链接：https://www.youtube.com/watch?v=kruwzfvKt3w

 

主持人为Rich Caruana，与会人员：Hanna Wallach、Kiri Wagstaff、Suchi Saria、Bolei Zhou和Zack Lipton。

 

•人工智能安全的可解释性——Victoria Krakovna

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf

视频链接：https://www.youtube.com/watch?v=3HzIutdlpho

 

•操作和测量模型的可解释性——Jenn Wortman Vaughan

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf

视频链接：https://www.youtube.com/watch?v=8ZoL-cKRf2o

 

•调试机器学习管道——Jerry Zhu

幻灯片链接：http://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf

视频链接：https://www.youtube.com/watch?v=XO2281l_JVw

 

•小组辩论和后续讨论

链接：https://www.youtube.com/watch?v=2hW05ZfsUUo

与会人员：Yann LeCun、Kilian Weinberger、Patrice Simard和Rich Caruana。

 

WiML

 

•贝叶斯机器学习：量化不确定性和规模化上的鲁棒性——Tamara Broderick

 

•用于坚守领域的以通信为中心的多智能体深度强化学习——Aishwarya Unnikrishnan

 

•图卷积网络可以在基因组学的深度学习模型中编码三维基因组体系结构——Peyton Greenside

 

•社会科学机器学习——Hannah Wallach

 

•公平意识建议——Palak Agarwal

 

•具有损坏性奖励信道的强化学习——Victoria Krakivna

 

•改善健康保健：强化学习所面临的挑战和机遇——Joelle Pineau

 

•在深度学习中利用对抗性攻击提高鲁棒性——Zhenyi Tang

 

•时序要求严格的机器学习——Nina Mishra

 

•用于评估重复拍卖中调出机制的通用框架——Hoda Heidari

 

•参与专家：在社会科学中应对应对发散引起先验的狄利克雷过程处理方法（A Dirichlet Process Approach to Divergent Elicited Priors）——SarahBouchat

  

•大型归属图的表征学习——Nesreen K Ahmed

幻灯片链接：https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs

 

欢迎个人分享，媒体转载请后台回复「转载」获得授权，微信搜索「BOBO_AI」关注公众号

中国人工智能产业创新联盟于2017年6月21日成立，超200家成员共推AI发展，相关动态：

中新网：中国人工智能产业创新联盟成立

ChinaDaily：China forms 1st AI alliance

证券时报：中国人工智能产业创新联盟成立 启动四大工程搭建产业生态“梁柱”

工信部网站：中国人工智能产业创新联盟与贵阳市政府、英特尔签署战略合作备忘录

点击下图加入联盟

下载中国人工智能产业创新联盟入盟申请表

关注“雷克世界”后不要忘记置顶哟

我们还在搜狐新闻、雷克世界官网、腾讯新闻、网易新闻、一点资讯、天天快报、今日头条、雪球财经……

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册