使聊天机器人的对话更有营养
来源:互联网 发布:农产品淘宝店铺取名 编辑:程序博客网 时间:2024/04/30 18:31
本文结构:
模型效果
模型
模块细节
今天的论文是 《Topic Aware Neural Response Generation》
https://arxiv.org/pdf/1606.08340.pdf
这篇论文的目的是让聊天机器人的回复更有营养,例如下面这种场景,要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复,而是可以给出一些建议和方案等:
模型
思路是输入句子后,先预测 topics,再根据 topics 生成回复。
文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。
TA-Seq2Seq 建立于 sequence-to-sequence 基础上,再加上一个联合注意力机制。
关于 seq2seq 的模型细节可以看这两篇文章:
seq2seq 入门
seq2seq 的 keras 实现
简单回顾,
1. seq2seq
是个 encoder-decoder 结构,两部分都是 RNN 模型,RNN 可以选择 LSTM 或者 GRU;
输入句子 X = (x1, x2, . . . , xT ) ,
输出句子 Y = (y1 , y2 , . . . , yT` )
目标是要最大化条件概率:
其中 c 为 encoder 的 RNN 模型得到的 context vector。
2. 注意力机制
简单讲,就是一般的 seq2seq 中,回复句子的所有单词都是由同样的语境生成,而加入注意力机制后,回复中的每个单词是由输入句子的不同部分生成的。
即 Y 中的每个单词 yi 由语境向量 ci 影响,其中 ci 是隐向量的加权平均:
模块细节
接下来根据前面的 TA-Seq2Seq 模型结构图看一下细节。
TA-Seq2Seq 的 encoder 和 decoder:
1. 在 encoding 中,
message encoder 通过一个双向的 GRU 模型,将输入 X 表示成隐向量 ht。
再用提前训练好的 Twitter LDA 模型获得 topic words 的向量表示:
Twitter LDA 模型的参数根据 collapsed Gibbs 采样算法求得,
Twitter LDA 会给输入 X 分配主题 z,选择概率最高的前 100 个单词,并且移除 “谢谢” “你” 等普遍的词,最终得到 X 的主题词 K。
这里 K 的向量表达由每个主题词 w 的分布计算得到:
其中 Cwz 为 w 被分配到主题 z 的次数。
2. 在 decoding 中,
每个单词都通过一个联合注意力机制,由输入句子和主题共同影响生成,这样生成的句子不仅和输入有关,而且和相关主题有关。
decoding 时,每一步时隐向量 h 被转化为 ci:
主题向量 k 也被线性组合为 oi,每个 kj 对应的系数为:
其中 hT 是输入句子的最终隐藏层状态,η0 是一个多层感知器,这么做可以削弱与主题无关的词的影响,加强相关词的影响度,即 oi 与输入的内容更相关,减少了很多噪音。
然后由 ci 和 oi 联合影响着生成句子的概率,
即每个单词的生成概率定义为:
p(yi) = pV (yi) + pK (yi),
其中 V 是回复词汇表,f 是一个 GRU 模型, Z 是正规化因子,并且:
这里的 σ(·) 为 tanh,w 为单词的 one-hot 表达,其余的 W 和 b 为参数。
这个生成概率定义的作用是,
对于非主题词,pV (yi) 就和 seq2seq + joint attention mechanism 类似,
但对于主题词,就有额外的一项 pK(yi) 可以增加主题词在回复中出现的概率。
这种联合影响还有一个好处,
一般的 seq2seq 生成回复中第一个词只由 c0 决定,这里是由 c0 和 o0 共同作用,使得回复的第一个词更加贴切主题,第一个词准了对后面生成词的影响也很重要。
推荐 阅读原文
也许可以找到你想要的:
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]
- 使聊天机器人的对话更有营养
- 使聊天机器人的对话更有营养
- 对话系统的历史(聊天机器人发展)
- 聊天机器人对话数据
- 聊天机器人/对话生成
- TensorFlow13: 简单的对话模型(聊天机器人)
- 爬取微博对话语料制作聊天机器人
- 简单的聊天机器人
- 机器人聊天的秘密
- 一个简单的对话机器人
- 简单聊天对话的实现
- 上班族午餐吃馒头更有营养
- [英语阅读]研究:有机食品未必更有营养
- 很好玩的聊天机器人
- 关于聊天机器人的设想
- 两个聊天机器人的情话
- 聊天机器人的技术意义
- 一个聊天机器人的程序
- 斐波那契数列-递归-java实现
- attention 机制入门
- 使聊天机器人具有个性
- 如何用 python 制定投资策略
- 北斗三号服务全球、国产OS广泛应用,这些你都知道么
- 使聊天机器人的对话更有营养
- 【Node核心模块HTTP】
- [高等数学]微分中值定理与导数的应用
- 成熟的Docker容器架构改变了游戏的七种方式
- 假设对testid有更新则插入一条新记录,那么怎么查询出testid最后的状态(分组查询)
- View的基础知识
- iGame最强Z370VulcanX主板:为第八代酷睿蓄势待发
- Docker 制作自己的WEB镜像,并运行项目
- 欢迎使用CSDN-markdown编辑器