使聊天机器人的对话更有营养
来源:互联网 发布:fashionphile 淘宝 编辑:程序博客网 时间:2024/04/30 19:45
本文结构:
- 模型效果
- 模型
- 模块细节
今天的论文是 《Topic Aware Neural Response Generation》
https://arxiv.org/pdf/1606.08340.pdf
这篇论文的目的是让聊天机器人的回复更有营养,例如下面这种场景,要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复,而是可以给出一些建议和方案等:
模型
思路是输入句子后,先预测 topics,再根据 topics 生成回复。
文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。
TA-Seq2Seq 建立于 sequence-to-sequence 基础上,再加上一个联合注意力机制。
关于 seq2seq 的模型细节可以看这两篇文章:
seq2seq 入门
seq2seq 的 keras 实现
简单回顾,
1. seq2seq
是个 encoder-decoder 结构,两部分都是 RNN 模型,RNN 可以选择 LSTM 或者 GRU;
输入句子 X = (x1, x2, … , xT ) ,
输出句子 Y = (y1 , y2 , … , yT` )
目标是要最大化条件概率:
其中 c 为 encoder 的 RNN 模型得到的 context vector。
2. 注意力机制
简单讲,就是一般的 seq2seq 中,回复句子的所有单词都是由同样的语境生成,而加入注意力机制后,回复中的每个单词是由输入句子的不同部分生成的。
即 Y 中的每个单词 yi 由语境向量 ci 影响,其中 ci 是隐向量的加权平均:
模块细节
接下来根据前面的 TA-Seq2Seq 模型结构图看一下细节。
TA-Seq2Seq 的 encoder 和 decoder:
1. 在 encoding 中,
- message encoder 通过一个双向的 GRU 模型,将输入 X 表示成隐向量 ht。
- 再用提前训练好的 Twitter LDA 模型获得 topic words 的向量表示:
Twitter LDA 模型的参数根据 collapsed Gibbs 采样算法求得,
Twitter LDA 会给输入 X 分配主题 z,选择概率最高的前 100 个单词,并且移除 “谢谢” “你” 等普遍的词,最终得到 X 的主题词 K。
这里 K 的向量表达由每个主题词 w 的分布计算得到:
其中 Cwz 为 w 被分配到主题 z 的次数。
2. 在 decoding 中,
每个单词都通过一个联合注意力机制,由输入句子和主题共同影响生成,这样生成的句子不仅和输入有关,而且和相关主题有关。
decoding 时,每一步时隐向量 h 被转化为 ci:
主题向量 k 也被线性组合为 oi,每个 kj 对应的系数为:
其中 hT 是输入句子的最终隐藏层状态,η0 是一个多层感知器,这么做可以削弱与主题无关的词的影响,加强相关词的影响度,即 oi 与输入的内容更相关,减少了很多噪音。
然后由 ci 和 oi 联合影响着生成句子的概率,
即每个单词的生成概率定义为:
p(yi) = pV (yi) + pK (yi),
其中 V 是回复词汇表,f 是一个 GRU 模型, Z 是正规化因子,并且:
这里的 σ(·) 为 tanh,w 为单词的 one-hot 表达,其余的 W 和 b 为参数。
这个生成概率定义的作用是,
对于非主题词,pV (yi) 就和 seq2seq + joint attention mechanism 类似,
但对于主题词,就有额外的一项 pK(yi) 可以增加主题词在回复中出现的概率。
这种联合影响还有一个好处,
一般的 seq2seq 生成回复中第一个词只由 c0 决定,这里是由 c0 和 o0 共同作用,使得回复的第一个词更加贴切主题,第一个词准了对后面生成词的影响也很重要。
推荐阅读
历史技术博文链接汇总
也许可以找到你想要的:
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]
- 使聊天机器人的对话更有营养
- 使聊天机器人的对话更有营养
- 对话系统的历史(聊天机器人发展)
- 聊天机器人对话数据
- 聊天机器人/对话生成
- TensorFlow13: 简单的对话模型(聊天机器人)
- 爬取微博对话语料制作聊天机器人
- 简单的聊天机器人
- 机器人聊天的秘密
- 一个简单的对话机器人
- 简单聊天对话的实现
- 上班族午餐吃馒头更有营养
- [英语阅读]研究:有机食品未必更有营养
- 很好玩的聊天机器人
- 关于聊天机器人的设想
- 两个聊天机器人的情话
- 聊天机器人的技术意义
- 一个聊天机器人的程序
- Java Character 类
- Swing界面菜单演示
- 【资源共享】Rockchip《U-Boot 开发指南 V3.7》
- Git 基础
- Python pip安装包的问题记录
- 使聊天机器人的对话更有营养
- 数组操作(进阶)
- Struts提供的强大的HTML标签库总结
- H
- Lintcode93 Balanced Binary Tree solution 题解
- 如何去掉browserLinkSignalR功能、VS2013、VS2015
- Linux忘记 root密码的解决办法
- Datatable的值设置
- 2017 Multi-University Training Contest 1 1002. Balala Power!(贪心)