字符相似性几种度量方法
来源:互联网 发布:怎么在淘宝投诉卖家 编辑:程序博客网 时间:2024/05/24 13:28
无论是做科学研究,还是工程项目,我们总是会碰上要比较字符串的相似性,比如拼写纠错、文本去重、上下文相似性等。度量的方法有很多,到底使用哪一种方法来计算相似性,这就需要我们根据情况选择合适的方法来计算。这里把几种常用到的度量字符串相似性的方法罗列一下,仅供参考,欢迎大家补充指正。
1、余弦相似性(cosine similarity)
余弦相似性大家都非常熟悉,它是定义在向量空间模型(VSM)中的。它的定义如下:
其中,A,B为向量中间中的两个向量。
在使用它来做字符串相似性度量的时候,需要先将字符串向量化,通常使用词袋模型(BOW)来向量化。举个例子如下:
String1 = “apple”
String2 = “app”
则词包为{’a’,’e’,’l’,’p’},若使用0,1判断元素是否在词包中,字符串1、2可以转化为:
StringA = [1111]
StringB = [1001]
那么,根据余弦公式,可以计算字符串相似性为:0.707。
2、欧氏距离(Euclidean distance)
欧氏距离大家非常熟悉,定义在向量空间模型中,计算使用欧氏距离公式:
3、编辑距离(edit distance)
编辑距离,有的地方也会称为Levenshtein距离,表示从一个字符串转化为另一个字符串所需要的最少编辑次数,这里的编辑是指将字符串中的一个字符替换成另一个字符,或者插入删除字符。例如上例String1通过删除’l’与’e’转化为String2,所以其最小编辑次数为2。
编辑距离的核心就是如何计算出一对字符串间的最小编辑次数,考虑到问题的特点,我们可以使用动态规划的思想来计算其最小编辑次数,根据维基百科:两个字符串
其中,w表示增删改三种操作的权重,一般定义为:
仍以(1)中的两个字符串为例:
则编辑距离
4、海明距离(hamming distance)
海明距离用于表示两个等长字符串对应位置不同字符的总个数,也即把一个字符串换成另一个字符串所需要的替换操作次数。根据定义,可以把海明距离理解为编辑距离的一种特殊情况,即只计算等长情况下替换操作的编辑次数。举个例子来讲,字符串“bob”与“pom”的海明距离为2,因为需要至少两次的替换操作两个字符串才能一致。海明距离较常用与二进制串上的操作,如对编码进行检错与纠错。在计算长字符串的相似性时可以 通过hash函数将字符串映射成定长二进制串再利用海明距离来计算相似性。
海明距离的计算比较简单,通过一个循环来比较对应位置的字符是否相同即可。
5、Dice 距离
Dice距离用于度量两个集合的相似性,因为可以把字符串理解为一种集合,因此Dice距离也会用于度量字符串的相似性。此外,Dice系数的一个非常著名的使用即实验性能评测的F1值。Dice系数定义如下:
其中,X,Y表示两个集合,分子表示两个集合的相交操作后的长度,分母表示两个集合长度之和。以(1)中的例子来讲的话,
其中,A,B表示两个向量。
6、Jaccard distance
杰卡德系数的定义如下,
可以看出与Dice系数的定义比较相似,分子部分是个两倍关系,Dice系数的分母比Jaccard系数的分母多减去了一项分子,即
Jaccard与Dice之间具有一种转化关系:
或:
7、J-W距离(Jaro–Winkler distance)
J-W距离也常用来度量两个字符串的相似性,它实际上 Jaro distance的一种变种。 Jaro distance距离属于编辑距离的一类,被用于记录链接领域来将异构数据源中的records链接到同义实体中,也可以用于拼写纠错。Jaro distance定义如下:
其中,m是两个字符串匹配上的字符数目,t是字符中换位数目的一半,即若在字符串的第i位出现了a,b,在第j位又出现了b,a,则表示两者出现了换位。举个例子来讲:
则
代入公式可得:
有了Jaro distance,我们定义J-W距离:
其中,
仍以上面的两个字符串为例,
- 字符相似性几种度量方法
- 字符串相似性的几种度量方法
- 机器学习的几种相似性度量方法
- 字符串相似性度量方法
- 相似性度量方法
- 图像相似性度量方法
- 机器学习中常用的几种相似性度量
- 常用的相似性度量方法
- 距离和相似性度量方法
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- 相似性度量
- java中遍历map的几种方式
- 原生JS如何运动ajax封装函数
- 后台返回数据快速赋值到页面封装js
- Reuters-21578 数据集处理
- java 编写代码实现Stack类 ,采用单链表
- 字符相似性几种度量方法
- 【Windows】快捷键操作指南
- kotlin学习笔记(八)
- java实现遍历树形菜单方法——service层
- 金庸群侠传之武林浩荡1.7全隐藏完整攻略流程(图文)
- JAVA-POI导出excel表格
- python3 windows 编码问题
- 连接
- IAR 开发STM8 学习