解决IkAnalyzer分词后文章字符全角变半角,字母大写变小写问题

来源:互联网 发布:js 网页跳转 编辑:程序博客网 时间:2024/04/29 09:23
工作中利用ik对 文章里的字符做分词 然后返回分词后的字符 进行关键字替换
最后处理后的字符 发下文章里的全角都被ik改成了半角,英文字母如果是大写的也被ik改成了小写 ,这是ik分词内部类规则的一个特性一般用来做搜索的时候用的,这个没错,但是在我的需求里用不到这个特性所以我必须把它去掉

打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里
有个方法 叫regularize 该方法的作用是进行字符规格化(全角转半角,大写转小写处理)
显然把这个方法注释就好了 ,并且去掉相关引用地方的该方法调用
这样ik分词出来的字符就保留原先的完整性了
0 0