语意分析,比较单词相似度,英文单词切词法,combine组合数学算法是关键。

来源:互联网 发布:在淘宝怎么找商家套现 编辑:程序博客网 时间:2024/05/16 00:27

比较单词相似度,必须首先切词,英文单词切词法,combine排列组合的“组合”数学算法是关键。

下面代码给出原子的一种思路:比如输入单词“spide”,输出所有可能用来和其他单词比较的原子,由于单词长度是5,匹配度小于60%的没意义,所以原子最小长度是3。

代码是从C语言算法改过来的,同样代码也可以修改成任何编程语言。


ide
pde
sde
pie
sie
spe
pid
sid
spd
spi
pide
side
spde
spie
spid
spide

这里用到了Combine 输出全部组合,Combine 5,3就是得到在5个里选3个的全部可能选法。

<SCRIPT LANGUAGE="vbScript">

str="spide"
''创建全局字典对象,用来存储所有得到的原子结果
Set dict=CreateObject("Scripting.Dictionary")

Dim  a(100)
strLength=Len(str)
''原子
atomyLength=round(strLength*0.6)

For x=atomyLength To strLength
 a(0)=x
 ''计算5选3,5选4,5选5组合
 combine strLength,x
next
 


sub combine(m,  k)
''计算组合在m里面选k个元素的全部组合情况,添加到字典对象里
 i=0
 j=0
 For i=m To k Step -1
  a(k)=i
  if (k>1)  then
   combine i-1,k-1 
  else
   tempStr=""
   for  j=1 To a(0) 
    tempStr=tempStr &  Mid(str,a(j),1)
   Next
   ''排除重复的,加到字典里
   If Not dict. Exists(tempStr) then  dict.add tempStr,Len(tempStr)
  End if
 next
End sub

Main()

Sub Main
 ''输出显示结果
 For i=0 To dict.count-1
  Document.write  dict.keys()(i) & "<br/>"
 next
End sub
</SCRIPT> 

原创粉丝点击