#Paper Reading# SummaRuNNer: A RNN based Sequence Model for Extractive Summarization of Documents

论文题目：SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
论文地址：https://arxiv.org/abs/1611.04230
论文发表于：AAAI 2017

论文大体内容：
这篇文章提出了一个基于GRU-RNN的模型，来完成抽取式自动文本摘要任务。通过与其它state-of-the-art的结果相比，发现这种方法能够达到更好的效果。

1、本文关注点在于单文档，extraction式摘要；

2、本文主要的贡献点在于：
①提出SummaRuNNer模型，在extractive summarization上达到更好的效果；
②模型的公式说明性强；
③能够将abstractive summary引入到extractive model中，作为训练数据；

3、SummaRuNNer的具体做法是：


①第一个layer是word level layer，包括2类RNN结果，一个forward，一个backward，所以是双向的RNN；
②第二个layer是sentence level layer，使用word level layer的输出结果hidden state representation串联起来作为input；
③这个document的表示通过下面公式计算：

④预测的时候，遍历每个句子，使用二分类的方法判断这个句子需不需要加入摘要里面去，对应于一个logistic layer；


⑤loss function如下：

4、Abstractive的实现：
①SummarRuNNer的实现；
②往后面增加一个RNN Decoder，多了s(-1)做输入；

③使用了softmax layer来产生word；

④loss function如下（最大化summary中每个词出现的概率）：

⑤Abstractive仅用于训练，即在Extractive的基础上，利用专家摘要的信息，来优化Extractive的模型，后面test的时候也是Extractive的方式；

实验
5、Dataset
①CNN/DailyMail语料： 196557 training documents, 12147 validation documents and 10396 test documents，平均而言，每个document有28个句子，每个summary中有3-4个句子；
②DUC2002语料：567个document；
③对于SummaRuNNer的loss function中真实数据的label y(i)的生成方式：使用贪心的思想，每次从所有句子中选出一个句子，使得该句子加入摘要中，能够使ROUGE值增加得最多，一直选择，直到ROUGE值不变或者减少的时候停止。这是选择的句子就作为Ground True；

6、评测方法
①ROUGE-1；
②ROUGE-2；
③ROUGE-L；

7、Baseline
①Lead-3 model：仅使用每个document的前3个句子作summary；
②LReg：a feature-rich logistic classifier used as a baseline by (Cheng and Lapata 2016)；
③Integer Linear Programming；
④TGRAPH；
⑤URANK；

8、对比结果




样例：

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！