Learning Deep Structured Semantic Models for Web Search using Clickthrough Data笔记
来源：互联网 发布：大作家智能写作软件 编辑：程序博客网 时间：2024/05/18 01:11
DSSM模型的优化目标是最大化点击文档的概率，该概率计算的计算方式是通过将query和doc的term vector分别映射到语义空间，然后计算每个（Q, D）的余弦相似度，再进行softmax转化成概率。在计算中有两个小点可以注意，一个是softmax函数中的系数gamma（>0），该参数用于平滑，当它大于1时，概率之间的差异会被放大，当它小于1时，概率直接的差异会被缩小；另一个是计算的时候并没有使用所有的文档，而是选取了点击的doc和4个未点击的doc，这个算法类似于word2vec里的negative sampling，用于减小softmax的计算量。
网络的结构比较简单，输入是原始的term vector，第一层将term vector映射为n-gram letter vector，之后是几个全连接层（使用tanh作为激活函数），输出层带激活。
word hashing的好处包括：（1）大大降低维度（2）减少训练集中未出现的词的影响（3）减少词性变化的影响。
作者训练该模型时使用了大小为1024的mini batch，20个epoch之后就训练完成了。并把模型和其他的常用模型进行了比较，包括（1）LSA这样的主题模型（2）无监督学习的自动编码器模型（3）基于词匹配的模型，如tf-idf，比较了NDCG指标以及pair t test显著性，DSSM指标显著高于其他模型。
DSSM的优势体现在三方面：（1）直接训练搜索目标，而不是像自动编码器那些学习无监督的目标（2）使用深度模型，能更好的提取语义特征（3）使用word hashing，从而解决了term vector的高维问题，不像有的模型不得不通过选取最频繁的部分term使得term vector截断
0 0
- Learning Deep Structured Semantic Models for Web Search using Clickthrough Data笔记
- [论文笔记]Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
- 【CNNCRF】Efficient Piecewise Training of Deep Structured Models for Semantic Segmentation
- [阅读笔记]Programming Models for Deep Learning
- 【论文笔记】Deep Structured Output Learning for Unconstrained Text Recognition
- 【Deep Learning学习笔记】Dynamic Auto-Encoders for Semantic Indexing_Mirowski_NIPS2010
- using learning rate schedules for deep learning models in python with keras
- Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank
- Detection Algorithms for Communication Systems Using Deep Learning笔记
- 论文笔记《End-to-End Deep Learning for Person Search》
- Open Data for Deep Learning
- Learning and Incorporating Shape Models for Semantic Segmentation文章理解
- Deep Learning：Optimization for Training Deep Models(零)
- Deep Learning：Optimization for Training Deep Models(一)
- Deep Learning：Optimization for Training Deep Models（二）
- 【Deep Learning】笔记：Tips for deep learning
- 【Deep Learning学习笔记】NEURAL NETWORK BASED LANGUAGE MODELS FOR HIGHLY INFLECTIVE LANGUAGES_google2009
- 语义分割--Deep Dual Learning for Semantic Image Segmentation
- Hadoop修改权限问题
- C++：distance()
- 清理日志及文件内容的三种方法
- PAT甲级1017. Queueing at Bank (25)
- MongoDB基础学习二----MongoDB中常用的索引操作
- Learning Deep Structured Semantic Models for Web Search using Clickthrough Data笔记
- NTP时钟同步服务器安装
- SwipeRefreshLayout无法下拉刷新了
- 蓝桥杯-四阶幻方
- POJ1988：Cube Stacking（并查集）
- 关于内存对齐的一些总结
- Http学习<三>HTTP 首部
- react-webpack 照片墙制作（三）
- 浅谈CPU，内存， 硬盘，指令之间的关系
