Levenshtein算法

Levenshtein算法，用于计算两个字符串之间的Levenshtein距离。而Levenshtein距离又称为编辑距离，是指两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。

概述

Levenshtein距离用来描述两个字符串之间的差异。我在一个网络爬虫程序里面使用这个算法来比较两个网页之间的版本，如果网页的内容有足够多的变动，我便将它更新到我的数据库。

说明

原来的算法是创建一个大小为StrLen1*StrLen2的矩阵。如果所有字符串加起来是1000个字符那么长的话，那么这个矩阵就会是1M；如果字符串是10000个字符，那么矩阵就是100M。如果元素都是整数（这里是指数字，Int32）的话，那么矩阵就会是4*100M == 400MB这么大，唉……

现在的算法版本只使用2*StrLen个元素，这使得后面给出的例子成为2*10,000*4 = 80 KB。其结果是，不但内存占用更少，而且速度也变快了！因为这使得内存分配只需要很少的时间来完成。当两个字符串的长度都是1k左右时，新算法的效率是旧算法的两倍！

示例

原来的版本将会创建一个矩阵[6+1, 5+1]，而我的新算法将会创建两个向量[6+1]（黄色元素）。在这两个算法版本中，字符串的顺序是无关紧要、无所谓的，也就是说，它也可以是矩阵[5+1, 6+1]和两个向量[5+1]。

新的算法

步骤

步骤说明1设置n为字符串s的长度。("GUMBO") 
设置m为字符串t的长度。("GAMBOL") 
如果n等于0，返回m并退出。
如果m等于0，返回n并退出。
构造两个向量v0[m+1] 和v1[m+1]，串联0..m之间所有的元素。2初始化 v0 to 0..m。3检查 s (i from 1 to n) 中的每个字符。4检查 t (j from 1 to m) 中的每个字符5如果 s[i] 等于 t[j]，则编辑代价为 0；
如果 s[i] 不等于 t[j]，则编辑代价为1。6设置单元v1[j]为下面的最小值之一：
a、紧邻该单元上方+1：v1[j-1] + 1
b、紧邻该单元左侧+1：v0[j] + 1
c、该单元对角线上方和左侧+cost：v0[j-1] + cost7在完成迭代 (3, 4, 5, 6) 之后，v1[m]便是编辑距离的值。

本小节将演示如何计算"GUMBO"和"GAMBOL"两个字符串的Levenshtein距离。

步骤1、2

v0v1





GUMBO
012345G1




A2




M3




B4




O5




L6

步骤3-6，当 i = 1

 

v0v1





GUMBO
012345G10



A21



M32



B43



O54



L65

步骤3-6，当 i = 2

v0v1




GUMBO
012345G101


A211


M322


B433


O544


L655

步骤3-6，当 i = 3

 

v0v1



GUMBO
012345G1012

A2112

M3221

B4332

O5443

L6554

步骤3-6，当 i = 4

 

v0v1


GUMBO
012345G10123
A21123
M32212
B43321
O54432
L65543

步骤3-6，当 i = 5

 

v0v1

GUMBO
012345G101234A211234M322123B433212O544321L655432

步骤7

编辑距离就是矩阵右下角的值，v1[m] == 2。由"GUMBO"变换为"GAMBOL"的过程对于我来说是很直观的，即通过将"A"替换为"U"，并在末尾追加"L"这样子（实际上替换的过程是由移除和插入两个操作组合而成的）。

改良

如果您确信你的字符串永远不会超过2^16（65536）个字符，那么你可以使用ushort来表示而不是int，如果字符串少于2^8个，还可以使用byte。我觉得这个算法用非托管代码实现的话可能会更快，但我没有试过。

//Levenshtein距离，又称编辑距离，用于比较两个字符串的相似程度。
double LevenshteinDistance(const CString &source, const CString &target)
{
int sourceLen=source.GetLength();
int targetLen=target.GetLength();

int i=0;
int j=0;
//动态声明一个矩阵，用来计算相似度
int **dist=new int *[sourceLen+1];
for (i=0;i<=sourceLen;i++)
{
dist[i]=new int [targetLen+1];
}
//初始化二维数组
for (i=0;i<=sourceLen;i++)
{
for(j=0;j<=targetLen;j++)
{
dist[i][j]=0;
}
}
for (i=0;i<=sourceLen;i++)
{
dist[i][0]=i;
}
for (j=0;j<=targetLen;j++)
{
dist[0][j]=j;
}
//编辑距离算法
for (i=1;i<=sourceLen;i++)
{
for(j=1;j<=targetLen;j++)
{
if (source[i-1]==target[j-1])
{
dist[i][j]=dist[i-1][j-1];//如果相等，则不需要做编辑操作
}
else
{
int edIns=dist[i][j-1]+1;//source插入字符
int edDel=dist[i-1][j]+1;//source删除字符
int edRep=dist[i-1][j-1]+1;//source替换字符
dist[i][j]=Min(Min(edIns,edDel),edRep);
}
}
}
double resurt=1.0-(dist[sourceLen][targetLen]*1.0)/Max(source.GetLength(),target.GetLength())*1.0;
//释放数组内存
for (i=0;i<=sourceLen;i++)
{
delete [] dist[i];
}
delete [] dist;
    //返回最小编辑距离
return resurt;
}