有意思的文献

1）

从贝叶斯角度，看深度学习的属性和改进方法
https://baijia.baidu.com/s?id=1569619494306556
Deep Learning: A Bayesian Perspective
https://arxiv.org/abs/1706.00473

2）
关系推理水平超越人类：DeepMind展示全新神经网络推理预测技术
在 DeepMind 最近发表的两篇论文中，研究人员探索了深度神经网络对非结构化数据执行复杂关系推理的能力。第一篇论文《A simple neural network module for relational reasoning》中，DeepMind 描述了 Relation Network（RN），并表明它在一种高难度任务中具有超越人类的表现；而在第二篇论文《Visual Interaction Networks》中，研究者们描述了一种通用模型，它可以纯粹基于视觉观察结果来预测物理对象的未来状态。
https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650727591&idx=1&sn=176d4a7ab8e06451b0deb2d74c3a5794

A simple neural network module for relational reasoning
https://arxiv.org/abs/1706.01427

Visual Interaction Networks
https://arxiv.org/abs/1706.01433

3）
基于百万图片的全球服饰时尚纵览

StreetStyle: Exploring world-wide clothing styles from millions of photos
https://arxiv.org/abs/1706.01869

Project: http://streetstyle.cs.cornell.edu/
Demo: http://streetstyle.cs.cornell.edu/trends.html

4)
Facebook 人工智能实验室与应用机器学习团队合作，提出了一种新的方法，能够大幅加速机器视觉任务的模型训练过程，仅需 1 小时就训练完ImageNet 这样超大规模的数据集。系统使用 Caffe 2 开源框架训练，可以拓展到其他框架上
https://mp.weixin.qq.com/s/mfmT9dUMGeL8ypc_lTJ0Jg

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
https://arxiv.org/abs/1706.02677

5)
解释黑盒子的一种方法
Interpretable Explanations of Black Boxes by Meaningful Perturbation
https://arxiv.org/abs/1704.03296

6）
泛化能力是各种因素综合作用的结果
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
https://arxiv.org/abs/1706.01983

7)
「自归一化神经网络」提出新型激活函数SELU
它提出了缩放指数型线性单元（SELU）而引进了自归一化属性，该单元主要使用一个函数 g 映射前后两层神经网络的均值和方差以达到归一化的效果。该论文的作者为 Sepp Hochreiter，也就是当年和 Jürgen Schmidhuber 一起发明 LSTM 的大牛，之前的 ELU 同样来自于他们组。有趣的是，这篇 NIPS 投稿论文虽然只有 9 页正文，却有着如同下图一样的 93 页证明附录。

Self-Normalizing Neural Networks
https://arxiv.org/abs/1706.02515

8）【谷歌机器翻译破世界纪录】仅用Attention模型，无需CNN和RNN
谷歌大脑、谷歌研究院和多伦多大学学者合作的一项新研究称，使用一种完全基于注意力机制（Attention）的简单网络架构 Transformer 用于机器翻译，效果超越了当下所有公开发表的机器翻译模型，包括集成模型。值得一提的是，该研究没有使用任何循环或卷积神经网络，全部依赖注意力机制。正如文章的标题所说：“注意力机制是你需要的全部（Attention Is All You Need）。

Attention Is All You Need
https://arxiv.org/abs/1706.03762

9）DeepMind 和 OpenAI 合作的新研究，让没有技术经验的人类给强化学习系统提供反馈，从而避免事先为系统指定目标的步骤。在某些情况下，这种方法只需要30分钟的反馈就足以训练系统，包括教会系统一个全新的、复杂的行为，例如使模拟机器人做后空翻。

利用人类偏好的深度强化学习
（Deep Reinforcement Learning from Human Preferences）
https://arxiv.org/abs/1706.03741

10）李飞飞协同斯坦福、CMU带来全新成果：从网络嘈杂的视频中进行学习
该方法提出了一种模型用于自动标注网络中巨量的嘈杂视频。
该方法的核心思想是，使用Q-learning来学习一个小型标签训练数据上的数据标签策略，然后再利用该模型来自动标注嘈杂的网络数据，以获得新的视觉概念。
Learning to Learn from Noisy Web Videos CVPR2017
https://arxiv.org/abs/1706.02884

11） CNN 网络的理解及可视化
Methods for Interpreting and Understanding Deep Neural Networks
https://arxiv.org/abs/1706.07979

VisualBackProp: efficient visualization of CNNs
https://arxiv.org/abs/1611.05418
https://github.com/mbojarski/VisualBackProp