文本相关性PM25算法

来源：互联网发布：ubuntu vi编辑器编辑：程序博客网时间：2024/04/29 20:15

1. BM25算法

BM25是二元独立模型的扩展，其得分函数有很多形式，最普通的形式如下：

∑

其中，k1,k2,K均为经验设置的参数，fi是词项在文档中的频率，qfi是词项在查询中的频率。

K1通常为1.2，k2通常为0-1000

K的形式较为复杂

上式中，dl表示文档的长度，avdl表示文档的平均长度，b通常取0.75

2. BM25具体实现

由于在典型的情况下，没有相关信息，即r和R都是0，而通常的查询中，不会有某个词项出现的次数大于1。因此打分的公式score变为

∑

3.0

BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。

BM25算法的一般性公式如下：

其中，Q表示Query，qi表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素qi。）；d表示一个搜索结果文档；Wi表示语素qi的权重；R(qi，d)表示语素qi与文档d的相关性得分。

下面我们来看如何定义Wi。判断一个词与一个文档的相关性的权重，方法有多种，较常用的是IDF。这里以IDF为例，公式如下：

其中，N为索引中的全部文档数，n(qi)为包含了qi的文档数。

根据IDF的定义可以看出，对于给定的文档集合，包含了qi的文档数越多，qi的权重则越低。也就是说，当很多文档都包含了qi时，qi的区分度就不高，因此使用qi来判断相关性时的重要度就较低。

我们再来看语素qi与文档d的相关性得分R（qi，d）。首先来看BM25中相关性得分的一般形式：

其中，k1，k2，b为调节因子，通常根据经验设置，一般k1=2，b=0.75；fi为qi在d中的出现频率，qfi为qi在Query中的出现频率。dl为文档d的长度，avgdl为所有文档的平均长度。由于绝大部分情况下，qi在Query中只会出现一次，即qfi=1，因此公式可以简化为：

从K的定义中可以看到，参数b的作用是调整文档长度对相关性影响的大小。b越大，文档长度的对相关性得分的影响越大，反之越小。而文档的相对长度越长，K值将越大，则相关性得分会越小。这可以理解为，当文档较长时，包含qi的机会越大，因此，同等fi的情况下，长文档与qi的相关性应该比短文档与qi的相关性弱。

综上，BM25算法的相关性得分公式可总结为：

从BM25的公式可以看到，通过使用不同的语素分析方法、语素权重判定方法，以及语素与文档的相关性判定方法，我们可以衍生出不同的搜索相关性得分计算方法，这就为我们设计算法提供了较大的灵活性。

1. BM25算法

BM25是二元独立模型的扩展，其得分函数有很多形式，最普通的形式如下：

∑

其中，k1,k2,K均为经验设置的参数，fi是词项在文档中的频率，qfi是词项在查询中的频率。

K1通常为1.2，通常为0-1000

K的形式较为复杂

上式中，dl表示文档的长度，avdl表示文档的平均长度，b通常取0.75

2. BM25具体实现

由于在典型的情况下，没有相关信息，即r和R都是0，而通常的查询中，不会有某个词项出现的次数大于1。因此打分的公式score变为

∑

3. 使用Lucene实现BM25

Lucene本身的打分函数集中体现在tf·idf

为了简化实现过程，直接将代码中tf和idf函数的返回值修改为BM25打分公式的两部分。

文档的平均长度在索引建立的时候取得，同时在建立索引的过程中，将每个文档的docID与其长度，保存在一个hashMap中。

具体的函数实现如下（DefaulSimilarity类）：

其中TermScore.temp为公式中K+fi的值

Temp的计算在TermScore类中进行计算：

public float score() {

assert doc != -1;

int f = freqs[pointer];

temp=(float)(1.2*(0.25+0.75*FileSearch.docToken.get(doc))+f);

System.out.println("weightValue: "+weightValue);

float raw = getSimilarity().tf(f)*weightValue; // compute tf(f)*weight

//f < SCORE_CACHE_SIZE // check cache

//? scoreCache[f]*temp // cache hit

//: getSimilarity().tf(f)*weightValue*temp; // cache miss

System.out.println("score func doc id :"+doc+" "+temp+" "+f+" "+ getSimilarity().tf(f));

System.out.println("raw value is"+raw);

return norms == null ? raw : raw * SIM_NORM_DECODER[norms[doc] & 0xFF];

}

值得注意的是：在lucene的得分计算中，使用explain函数可以看出，除了tf、idf的乘积之外，还有一个fieldNorm值，这个值的计算是基于索引的建立过程，与文档以及field的长度有关，综合考虑，这个值对于查询的过程还是比较有效的，因此在具体实现中，依然保存了fieldNorm的值。

BM25模型
      BM25模型是基于二元假设推导而出，考察词语在查询中的权值，拟合出综合上述考虑因素的公式，并通过引入一些经验参数。因此，BM25模型是淘宝中最常用也最重要的判断类目相关性的模型。以下是BM25模型计算公式
              公式中，对于查询Q中出现的每个查询词，依次计算单词在文档D中的分值，累加后就是文档D与查询Q的相关性得分。可以看出，计算第i个查询词的权值时，计算公司可以拆解为3个组成部分，第1个组成部分就是BIM模型计算得分，第2个组成部分是查询词在文档D中的权值，K1和K是经验参数，第3个组成部分是查询词自身的权值，如果查询较短小的话，这个值往往是1，k2是经验参数值。BM25模型就是融合了这3个计算因子的相关性计算公式。
       下面我们以用户查询“男士牛仔裤”来看看如何实际利用BM25公式计算相关性，首先我们假定BM25的第一个计算因子中，我们不知道哪些是相关文档，所以讲相关文档个数R和包含查询词的相关文档个数r设定为0，此时第一个计算因子退化成：

      因为查询中，分词后的查询词都只出现了一次，所以其对应的值都为1，其他数值假定如下：
      文档集合总数：N=100000
      文档集合中包含词语“男士”的文档个数n男士=1000
      文档集合中包含词语“牛仔裤”的文档个数n牛仔裤=100
      调节因子k1=1.2  k2=200   b=0.75
      假定文档长度是平均文档长度的1.5倍，即k=1.2*（0.25+0.75*1.5）=1.65，将这些数值带入BM25计算公式，可以得出文档D和查询的如下相关性得分：

这样，可对集合中所有的文档都按照上述方法进行计算，将最终的计算分值进行归纳总结，即可准确的预测出与“男士牛仔裤”这个查询词最相关的宝贝，这些宝贝进行集合分类，最终即可得出该查询词的最优先展示类目！对于在不同区间的分值，淘宝一般会进行分档处理，比如[10,8]区间为第一优先类目，(8,7]区间为第二优先类目，依次进行分档，因此就有可能会出现在同

阅读全文

1 0