#Paper Reading# Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
来源:互联网 发布:win10系统适合编程吗 编辑:程序博客网 时间:2024/05/28 11:50
论文题目:Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
论文地址:http://anthology.aclweb.org/N/N16/N16-1012.pdf
论文发表于:NAACL 2016(CCF C类,CORE A类,QUALIS A1类)
论文大体内容:
本文使用一种conditional RNN来生成摘要,条件是卷积注意力模型(convolutional attention-based encoder),用来确保每一步生成词的时候都可以聚焦到合适的输入上。模型仅仅依赖于学习到的features,并且很容易在大规模数据上进行end2end式地训练,并且在Gigaword语料上和DUC-2004任务中取得了更好的效果。
1、本文关注点在于单个句子,进行abstractive式摘要;
2、输入X: X(1), X(2), …, X(M), 长度为M;
输出Y: Y(1), Y(2), …, Y(N), 长度为N, N大小固定;
词典V;
3、Loss function如下
4、Encoder
输入句子每个词最终的embedding是各词的embedding与各词位置的embedding之和,经过一层卷积处理得到aggregate vector:
根据aggregate vector计算context(encoder的输出):
其中权重由下式计算:
5、Decoder
decoder的部分是一个RNNLM,这里的RNN Hidden Layer使用的是LSTM单元。decoder的输出由下式计算:
其中c(t)是encoder的输出,h(t)是RNN隐藏层,由下式计算:
这里隐藏层的单元有两种思路,一种是常规的Elman RNN,一种是LSTM;
6、Generating Summaries
在测试集中,本文使用Beam Search的方法进行生成摘要,时间复杂度为O(KNV);
Beam Search(集束搜索)[2]使用广度优先策略建立搜索树,在树的每一层,按照启发代价对节点进行排序,然后仅留下预先确定的个数(Beam Width-集束宽度)的节点,仅这些节点在下一层次继续扩展,其他节点就被剪掉了。如果集束宽度无穷大,那该搜索就是宽度优先搜索。
①将初始节点插入到list中;
②将给节点出堆,如果该节点是目标节点,则算法结束;
③否则扩展该节点,取集束宽度的节点入堆。然后到第二步继续循环;
④算法结束的条件是找到最优解或者堆为空;
实验
7、Dataset
经过处理的约400万Gigaword数据集[3]作为训练集和验证集,在DUC2004数据集上进行评测;
8、评测方法
①ROUGE-1;
②ROUGE-2;
③ROUGE-L;
9、Baseline
①ABS;
②ABS+;
10、对比结果
参考资料:
[1]、https://zhuanlan.zhihu.com/p/21388469
[2]、http://www.cnblogs.com/xxey/p/4277181.html
[3]、https://catalog.ldc.upenn.edu/LDC2012T21
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!
- #Paper Reading# Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
- #Paper Reading# A Neural Attention Model for Abstractive Sentence Summarization
- #Paper Reading# Neural Extractive Summarization with Side Information
- Taming Recurrent Neural Networks for Better Summarization
- Abstractive Document Summarization with a Graph-Based Attentional Neural Model
- Supervised Sequence Labelling with Recurrent Neural Networks
- Generating News Headlines with Recurrent Neural Networks
- Chinese Poetry Generation with Recurrent Neural Networks
- Recurrent Neural Networks with Word Embeddings¶
- Chinese Poetry Generation with Recurrent Neural Networks
- #Paper Reading# Multi-Document Summarization via Sentence-Level Semantic Analysis and SMF
- Gated Recurrent Neural Networks
- Recurrent Neural Networks Tutorial
- Recurrent Neural Networks - collections
- Recurrent Neural Networks regularization
- Recurrent Neural Networks
- Recurrent Neural Networks
- speech recognition with deep recurrent neural networks-论文笔记
- 树形问题和更多树
- BZOJ 2301 浅谈莫比乌斯函数对方程化简的应用
- C++学习笔记10:返回对象
- union合并查询结果
- [P1281]书的复制[二分]
- #Paper Reading# Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
- oschina使用pages
- matlab数组运算
- Hdu1071 *完全就是考高数嘛*
- CSS3中的calc( )属性--可以计算的属性
- eclipse的版本
- Android 使用SQL数据库
- Cocos2d-x使用CCGLProgram和Shader文件实现精灵置灰
- 马上大学毕业了,为什么我找不到工作?