seq2seq以及Attention机制
来源:互联网 发布:泉州唯一网络招聘 编辑:程序博客网 时间:2024/06/01 08:44
RNN 由一系列相同的网络构成(图 1 中的长方形表示一个网络),上一个词语的向量表示作为计算下一个网络的输入,如此循环。整个句子每个词军计算完成, 便得到了一个句子的语意向量。
所谓encoder-decoder模型,又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。
那么seq2seq又是什么呢?简单的说,就是根据一个输入序列x,来生成另一个输出序列y。seq2seq有很多的应用,例如翻译,文档摘取,问答系统等等。在翻译中,输入序列是待翻译的文本,输出序列是翻译后的文本;在问答系统中,输入序列是提出的问题,而输出序列是答案。
为了解决seq2seq问题,有人提出了encoder-decoder模型,也就是编码-解码模型。所谓编码,就是将输入序列转化成一个固定长度的向量;解码,就是将之前生成的固定向量再转化成输出序列。
encoder-decoder模型虽然非常经典,但是局限性也非常大。最大的局限性就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。也就是说,编码器要将整个序列的信息压缩进一个固定长度的向量中去。但是这样做有两个弊端,一是语义向量无法完全表示整个序列的信息,还有就是先输入的内容携带的信息会被后输入的信息稀释掉,或者说,被覆盖了。输入序列越长,这个现象就越严重。这就使得在解码的时候一开始就没有获得输入序列足够的信息, 那么解码的准确度自然也就要打个折扣了。
阅读全文
0 0
- seq2seq以及Attention机制
- 带Attention机制的Seq2Seq框架梳理
- 图解RNN、RNN变体、Seq2Seq、Attention机制
- 完全图解RNN、RNN变体、Seq2Seq、Attention机制
- Attention机制以及强化RNNs
- seq2seq里的 attention机制 的 原理 及 代码 及 个人理解
- attention 机制
- Attention机制
- attention机制
- Tensorflow 自动文摘: 基于Seq2Seq+Attention模型的Textsum模型
- Tensorflow 自动文摘: 基于Seq2Seq+Attention模型的Textsum模型
- Tensorflow 自动文摘: 基于Seq2Seq+Attention模型的Textsum模型
- 深度学习-->NLP-->Seq2Seq Learning(Encoder-Decoder,Beam Search,Attention)
- attention机制 深入理解
- attention 机制入门
- attention 机制入门
- attention机制详解
- seq2seq
- PHP获取当前页面的URL地址
- HDU
- linux 系统函数之 localtime, localtime_r, strftime
- SSM框架——以注解形式实现事务管理
- SpringMVC源码总结(三)mvc:annotation
- seq2seq以及Attention机制
- ThinkPHP执行调用存储过程添加日志
- LeetCode-657. Judge Route Circle
- Java图片生成水印
- Python 编码规范PEP8整理
- 浅谈表现和数据分离
- Matlab符号计算与方程组求解
- 动画[4]PropertyAnimator ObjectAnimator
- PHP获取用户的真实IP地址