本周值得读 | ACL2017、对话系统、GAN……总有一篇适合你！

#ACL2017 论文推荐#

AMR-to-text Generation with Synchronous Node Replacement Grammar

本文工作来自 PaperWeekly 群友 Linfeng Song。研究从 AMR 图的生成含有对应语义的文本，该方法采用同步图文法（Synchronous Node Replacement Grammar，源端是图片段目标端是短语）同步构建 AMR 图的 derivation 和译文，训练和解码采用 log-linear 模型和 beamsearch 解码，该方法也可以用于基于图的机器翻译上去，AMR 是一种基于有向图图的语义结构，对机器翻译、信息抽取、句子理解等任务有帮助。

论文链接：https://arxiv.org/abs/1702.00500v1

推荐人：大俊，PaperWeekly 首席客服

➋

#对话系统#

#CVAE#

#ACL2017#

Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders

本文工作来自 PaperWeekly 作者团队的赵天成博士。Encoder-decoder 模型目前被广泛应用到开域对话生成的任务上。但是目前标准的encoder-decoder 生成的回复通常都是 generic and dull。为了解决这个问题，我们提出了一个全新的基于 conditional variational autoenocders (CVAE) 的对话生成模型。不同于以往的方法专注于改进 decoder 的解码过程，我们的模型通过改进 encoder，让 encoder 可以学习出下一个回复在 utterance-level 的概率分布。我们的贡献包括 1.利用一个 utterance-level latent variable 来描述下一句对话回复的概率分布，从而即使 decoder 仅使用 greedy decoding，也可以得到 diverse responses 2. 改进了标准的 CVAE 模型，让人可以利用先验语言学知识来引导模型的训练，得到了超过 baseline 的性能 3. 改进了 VAE/CVAE 用于文字生成的训练 loss function，实验显示比之前的（Bowman 2015）里提出的 training tricks 更加有效。

论文链接：https://arxiv.org/abs/1703.10960

推荐人：大俊，PaperWeekly 首席客服

➌

#对话系统#

#语料#

Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems

本文又是一个福利，工作来自 Maluuba。又贡献了一个数据集给大家，一共 1369 段对话，平均每段对话 15 轮。

论文链接：https://arxiv.org/abs/1704.00057

数据集地址：http://datasets.maluuba.com/Frames

推荐人：大俊，PaperWeekly 首席客服

➍

Words Or Characters? Fine-Grained Gating For Reading Comprehension

本文来自卡耐基梅隆大学，在自然语言处理，如何对语言进行表征是一个很重要的问题，目前主要有两种表征方法，word-level 的表征和 character-level 的表征，word-level 即最常用的词嵌入向量，其优点是能够较好的捕获词义（semantic）的相似信息，character-level 是使用 RNN 或者 CNN 的隐状态来进行表征， 在词的形态学信息上表现较好（sub-word morphology，也就是时态，单复数结构等等），将这两者的优点结合起来能够更好的表征语言，进而在 NLP 的各个任务中获得较好的效果，但是目前结合这两者的方法，主要是直接进行向量拼接，或者使用一个固定的门函数（gate function）来控制这两者混合的比例，这些方法都各有其不足。

本文提出一个细粒度的门函数来控制两种表征的混合比例，在每一个向量维上分别控制混合比例，从而达到改善了这个问题。进一步来说，文章认为，基于命令实体识别、词性标注、词频等信息，能够使用一个神经层来控制在 word-level 和 charctor-level 的信息流动，从而基于不同的词，分别对两种表征的比重进行侧重。

进一步在这个思想的基础上，针对机器理解（reading comprehension）任务，文章提出一个细粒度的门控机制（fine-grained gating mechanism）来控制 document 和 query 之间的信息交互，使用 query 来对 document 进行注意力（attention）分配，在 children book test 数据集和斯坦福问答数据集上，都取了 state of art 的结果。

论文链接：https://arxiv.org/abs/1611.01724v1

推荐人：于翮，北京航空航天大学（PaperWeekly arXiv组志愿者）

➎

#GAN#

BEGAN: boundary equilibrium generative adversarial networks

本文作者提出一种 auto-encoder 结构的 GAN（类似 EBGAN），即将 discriminator 设计成 encoder，generator 设计成 decoder，而 loss 是基于 discriminator 的重构误差。作者从实验观察的角度提出 real image 和 sample image 的重构 loss 近似服从高斯分布，以此为依据设计了 D 和 G 的目标函数。作者提出的目标函数与 WGAN 相似，不同之处在于不用 k-lipschtz 的假定。

此外，作者提出了一个衡量生成样本多样性的超参数：生成样本的 loss 的期望与真实样本的 loss 的期望之比。它能够均衡 D 和 G，从而稳定训练过程。通过实验发现这个超参数对 encoder 和 decoder 不均衡的情形也能有很好的指导作用。该参数越小表明生成样本的多样性和质量越低，参数越大表明多样性和质量越高，它体现了 boundary equilibrium。

论文链接：https://arxiv.org/abs/1703.10717

代码链接：

https://github.com/carpedm20/BEGAN-pytorch

推荐人：洪佳鹏，北京大学（PaperWeekly arXiv 组志愿者）

➏

#QA#

Reading Wikipedia to Answer Open-Domain Questions

本文是 Stanford 的博士生陈丹琦在 FAIR 实习期间的工作，发表在 ACL-17 上。借助大规模开源的外部知识库是突破机器阅读和问答能力的关键。这个知识库可以是结构化的知识图谱，也可以是非结构话的文档。作者基于 500 万+的 Wikipedia 文档，在SQuAD，WebQuestions 等几个问答数据集上，做开放式的问答系统。

作者提出的 DrQA 模型是由 Document Retriever 和 Document Reader 两块组成。Document Retriever 结合 TF-IDF 加权的词袋向量和 Bigram 去表示每一个问题（Question），然后用这个表示（representation）去召回最相关的五篇文章（Article）。Document Reader 则借鉴最近在机器阅读上表现很好的引入注意力的循环神经网络（AttentiveReader），用段落（Paragraph）和问题（Question）的表示训练两个分类器，预测答案的开始和结束位置。值得注意的是，在编码段落中的词时候，不止使用了词向量（具体参考论文 3.2）。作者在 SQuAD 上测试提出的 Document Reader 模型，取得了在所有发表工作中最好的效果。

在测试加入 Wikipedia 作为背景知识（context）的开放式问答系统的实验上，为了得到包含（Paragraph, question, answer）这种形式的数据集，作者使用 Distantly Supervised 技术，在已有的四个数据集上，使用 Document Retriever 召回既跟 Question 重合度高，又包含 Answer 的 Paragraph，构造包含外部知识的问答数据集。在 Document Reader 上训练和测试，通过不同数据集的迁移学习，有效的提高答案 exact-match 的准确率。

论文链接：https://arxiv.org/abs/1704.00051

推荐人：刘瑾莱，北京邮电大学（PaperWeekly arXiv小组志愿者）

➐

#情感#

#对话系统#

Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory

上下文的一致性是对话系统体现“智能”的重要特征，但一个真正的智慧体应该不仅仅是只考虑了内容上的一致性，而也应该考虑情感的一致性，情感的理解和表达是更加体现“智能”的表现。本文正是在内容一致性的基础上改进了模型，考虑了情感的一致性。

论文链接：https://arxiv.org/abs/1704.01074

推荐人：大俊，PaperWeekly 首席客服

➑

#model-free#

Statistical Efficiency of Compositional Nonparametric Prediction

这篇文章提供了一种新的非参方法的框架，把 Additive model 和 Tensor Product 都包含在其中。Motivation 来自于 additive model 虽然简单，但是现实中很少存在。具体的就是搭建了一种 Tree 模型，最底层代表了 weighted basis 然后中间的 node 代表加法或者乘法的运算。理论上通过 bound Rademacher 给了一个 rate。

论文链接：https://128.84.21.199/abs/1704.01896

推荐人：statmlben，香港城市大学（PaperWeekly arXiv小组志愿者）

✎✎✎

「本周值得读」栏目的内容来自 PaperWeekly arXiv 志愿者小组推荐，如果您也是 arXiv 爱好者，愿意一起来丰富 PaperWeekly 的推荐内容，并且培养良好的阅读习惯，就请加入我们吧。请添加下面的微信号，并注明「学校+硕士生/博士生+研究方向」，一起来为 AI 领域学术的发展贡献自己的一份力量。

关于PaperWeekly

PaperWeekly 是一个分享知识和交流学问的学术组织，关注的领域是 NLP 的各个方向。如果你也经常读 paper，喜欢分享知识，喜欢和大家一起讨论和学习的话，请速速来加入我们吧。