字符串Jaccard Similarity分析与源代码

1. Jaccard Similarity 定义

     定义： Jaccard Similarity是针对2个集合而言的，对于集合S和 T，Jaccard similarity: Jaccard(S,T) = |S交T| / |S并T| 

     例子1：

    S={a,b, c}, T={b, c, d}

    Jaccard(S, T)= 2/4

    例子2：

    R={Intel Corporation}, S={Intel Corp.}, T={Microsoft Corporation}

   Jaccard(R, S)= 1/3,  Jaccard(R, T)= 1/3

    

    暂不考虑weighted Jaccard

2. 字符串Jaccard Similarity求解

    对于字符串求解Jaccard Similarity，先要根据q-gram对字符串进行划分，得到子串集合。

（由于字符串进行拆分时，可能出现相同的字符串，在接下来的分析中相同的字符串只计算一次）

  

     所以问题就转化为求2个字符串集合的交集和并集元素个数。

3. 源程序

double getJac(const char*str1, const char*str2, int step) {string s1 = str1;string s2 = str2;int m = strlen(str1);int n = strlen(str2);set<string> S;set<string> T;for(int i=0; i<=m-step; i++) {string tmp = s1.substr(i, step);S.insert(tmp);}for(int i=0; i<=n-step; i++) {string tmp = s2.substr(i, step);T.insert(tmp);}int commonNum = 0;set<string>::iterator iter1;for(iter1=S.begin();iter1!=S.end();iter1++) {int isIn = T.count(*iter1);commonNum += isIn;}int mergeNum =S.size()+T.size()-commonNum;return double(commonNum)/mergeNum;}

Remark: step是q-gram中的q。

                程序实现用了STL的容器set。

                假设对于aabb和aabd，按照1-gram，则会出现以下2种情况：
   a)  S={a,b}，T={a,b,d},Jaccard(S,T)=2/3
   b)  S={a,a,b,b}，T={a,a,b,d},Jaccard(S,T)=3/4
以上哪种情况是对的呢？
按理来说这两种都可以，在没特别说明下我们使用第一种。