深度学习笔记——利用深度学习构建社区问答系统之相似问题对匹配
来源:互联网 发布:产品经理 原型软件 编辑:程序博客网 时间:2024/06/05 16:49
利用深度学习构建社区问答系统的相似问题对匹配的问题定义为:
假设我们已经有了问答库:
其中,Qi是问答社区中的历史问题,Ai是Qi问题的精华答案;
现有社区用户提出的新问题:Qnew
我们需要学习映射函数:
即对于新问题Qnew,我们希望通过学习系统找到社区中已经出现过的语义相同问题Qi,然后将对应的答案Ai推荐给用户。这样就达到了社区信息复用的目的。这个问题其实对于问答社区比如百度知道、知乎等都是存在的,解决问题的思路也完全可以复用到此类问答社区中。
这里其实就是找相似问题对,在NLP中有一个task叫做Paraphrase,这里是Sentence Paraphrase,即找到两个语义等价的句子对。
关于句子对匹配模型,其实在我的上一篇文章:深度学习笔记——基于双向RNN(LSTM、GRU)和Attention Model的句子对匹配方法 中已经有了很详细的介绍。
我们先看其中最复杂的一个模型:
其实,这里句子S可以看成我们任务中的Q1,句子T看出我们任务的Q2,如果我们有足够的标注好的问题对,那么我们就可以用来训练这个模型,然后用训练好的模型预测与Qnew语义等价的问题,然后把答案推荐给用户。
关于这个模型的实验我还在整理过程中,等整理完毕之后会将代码和实验结果放上来,同时更新到我的GitHub上,敬请期待!
阅读全文
0 0
- 深度学习笔记——利用深度学习构建社区问答系统之相似问题对匹配
- 深度学习之《社交网络问答系统-问题重复检测任务》实现
- 深度学习quora问答
- 深度学习笔记——基于Word2vec和Doc2vec的句子对匹配方法
- 深度学习笔记——基于传统机器学习算法(LR、SVM、GBDT、RandomForest)的句子对匹配方法
- 深度学习解决NLP问题:语义相似度计算——DSSM
- 深度学习笔记——基于双向RNN(LSTM、GRU)和Attention Model的句子对匹配方法
- 构建无处不在的深度学习部署系统
- 深度学习笔记——深度学习技巧
- Matlab深度学习笔记——深度学习工具箱说明
- QA问答系统中的深度学习技术实现
- QA问答系统中的深度学习技术实现
- 深度学习笔记——深度学习框架TensorFlow之Model(十三)
- 深度学习笔记——深度学习框架TensorFlow之MLP(十四)
- 使用深度双向LSTM模型构造社区问答系统
- 使用深度双向LSTM模型构造社区问答系统
- 深度学习笔记——深度学习框架TensorFlow之DNN深度神经网络的实现(十四)
- 深度学习笔记之RBM
- Xargs用法详解
- 函数的立即执行
- 超好用!NSString 字符串处理:截取字符串、匹配字符串、分隔字符串 、分隔字符串
- 周笔记(21/52)
- TF基本概念
- 深度学习笔记——利用深度学习构建社区问答系统之相似问题对匹配
- POJ 1444 Parallelepiped walk 笔记
- 闭包
- [bzoj 1103] 大都市meg(树状数组和dfs序)
- 蓝桥杯----生成回文数
- android 四大组件只------BroadCastReceiver(广播)
- C语言基础-指针深入16
- 一道题看透函数柯里化(currying)
- Unity导入STL格式模型(二)