jieba分词支持关键词带空格和特殊字符

来源：互联网发布：影视后期剪辑软件编辑：程序博客网时间：2024/06/05 19:21

　　在默认情况下，当关键词中带有空格或特殊字符，如World Economic Forum，用jieba分词，会将该词分成三个词：World，Economic，Forum。

#默认jieba：import jiebajieba.load_userdict("dict/userDict")str1="People's Republic of China is the only legitimate 　government in China."str2="World Economic Forum"str3="Edu Trust认证"for w in jieba.cut(str2):    print w+" ",#People  '  s     Republic     of     China     is     the     only     legitimate     government     in     China  . #World     Economic     Forum#Edu     Trust  认证

　　中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　1. 搜索
　　　re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
　　　改成
　　　re_han_default = re.compile(“(.+)”, re.U)
　　　
　　2. 搜索
　　　re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?＄’, re.U)
　　　改成
　　　re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　3. 搜索
　　　word, freq = line.split(’ ‘)[:2]
　　　改成
　　　word, freq = line.split(‘\u0040\u0040’)[:2]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　4.补充：若用全模式继续改。
　　　搜索
　　　re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
　　　改成
　　　re_han_cut_all = re.compile(“(.+)”, re.U)

#修改后测试userDict：中华人民共和国@@nPeople's Republic of China@@nWorld Economic Forum@@n世界经济论坛@@n结果：People's Republic of China     is     the     only     legitimate     government     in     China  .World Economic ForumEdu Trust认证

支持英文专有名词的jieba 　init.py

0 0