Agglomerative clustering of a search engine query log (论文笔记)

原论文下载地址：http://www.cs.cornell.edu/courses/cs6784/2010sp/lecture/24-BeefermanBerger00.pdf

最近看了一下Agglomerative clustering of a search engine query log这篇论文，有一定的收货，并做一些笔记，方便以后复习使用.

这篇论文主要讲述了从搜索引擎的点击数据中对query和url进行聚类。在比较成熟的文本聚类中，一般使用的是用一个高纬的term向量来表述一个文档，然后再使用cos、KL，皮尔逊等距离计算来公式来计算doc之间的相似度。这篇论文中讲述的算法跟以前的算法不同之处是 不依赖query和url的内容，而直接使用用户的点击信息来进行聚类。

url聚类：

之前使用url的内容进行聚类，使用文本的内容来进行聚类有如下几点的不足：

1. 内容较少的页面，如：一些包含大量图片的网站等

2. 有些需要登录的页面

3. 页面内容动态变化

对于如上几种情况，本论文介绍的不考虑内容的算法将有优势。

query的聚类：

query一般比较短，因为特征将会特别稀疏，使用点击数据将能有效的解决这方面的问题。query的聚类可以应用在现在搜索引擎的相关搜索中。

其它解决query比较短的问题还有：

从搜索引擎中抓取所有query的摘要数据，然后进行聚类

数据源：

收集用户的点击数据，数据内容包含query，url，表示用户搜索了query，并且点击了url。

基于图的迭代聚类：

二部图的生成算法：

query/url相似度度量：

N(x)表示x的邻接节点的个数。

此相似度度量的不足：

◦ Two URLs shared should be better than one
◦ More clicks should mean better correlation
◦ Sensitivity to noisy clickthroughs。

url & query聚类算法

论文总结

1. 本文介绍的图聚类算法，可以抽象为一个层次聚类算法，只是簇之间的距离使用的是 本文介绍的度量方式。因此计算复杂度较高

2. 论文介绍的算法，能够解决query聚类特征稀疏性问题。由<query,url>数据可以引申到 <query , session> <item,user>等类型的数据

3. 是否可以使用本算法用来分类？假设有一部分标注的label，那么通过二部图的迭代可以把  query的行业信息传递给 url/query节点，多次迭代达到稳定则可以给所有的ur和query打上行业label。