Learning dense Models of Query Similarity from User Click Logs

来源:互联网 发布:javascript 堆栈 编辑:程序博客网 时间:2024/05/16 23:01

背景:

有大量的论文研究如何计算Query直接的相关性,而这篇论文是2010年的一篇。3名作者是Google Research 的成员。第一作者是Fabio de bona貌似是一个德国人。他还介绍了一种并行的SVMs训练方法。GPDT is a C++ software designed to train large-scale Support Vector Machines (SVMs) 


介绍:

这里训练样本很多,达到10亿Pair的级别。

核心思想:Co-click,共同点击。


Query Similiarity 度量方法

语义测量:PMI方法。我们经常使用的方法:p(wi,wj)/(p(wi)p(wj)),不过这里在这个值外面加了一个Log。这个方法在1990年就已经有了。


taxonomic normalization 分类归一化

这里提到QueryReformulation的泛化和细化。Lau and Horvitz 在1999年就提到了,而boldi 在2009年也提到。
根据技术泛化和细化的分数来判断,一个改写应该是那种类型。

句法度量:

编辑距离-Levenshtein distance
edit1:三种操作都计算代价函数
edit2:两种操作计算代价函数

泛化度量:

代价矩阵估计:

估计PMI-Based cost Matrices。

原创粉丝点击