解决IkAnalyzer分词后文章字符全角变半角,字母大写变小写问题
来源:互联网 发布:js 网页跳转 编辑:程序博客网 时间:2024/04/29 09:23
工作中利用ik对 文章里的字符做分词 然后返回分词后的字符 进行关键字替换
最后处理后的字符 发下文章里的全角都被ik改成了半角,英文字母如果是大写的也被ik改成了小写 ,这是ik分词内部类规则的一个特性一般用来做搜索的时候用的,这个没错,但是在我的需求里用不到这个特性所以我必须把它去掉
打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里
有个方法 叫regularize 该方法的作用是进行字符规格化(全角转半角,大写转小写处理)
显然把这个方法注释就好了 ,并且去掉相关引用地方的该方法调用
这样ik分词出来的字符就保留原先的完整性了
最后处理后的字符 发下文章里的全角都被ik改成了半角,英文字母如果是大写的也被ik改成了小写 ,这是ik分词内部类规则的一个特性一般用来做搜索的时候用的,这个没错,但是在我的需求里用不到这个特性所以我必须把它去掉
打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里
有个方法 叫regularize 该方法的作用是进行字符规格化(全角转半角,大写转小写处理)
显然把这个方法注释就好了 ,并且去掉相关引用地方的该方法调用
这样ik分词出来的字符就保留原先的完整性了
0 0
- 解决IkAnalyzer分词后文章字符全角变半角,字母大写变小写问题
- IkAnalyzer分词后文章字符全角变半角,字母大写变小写问题
- 全角字符变半角字符
- 解决全角半角问题
- js全角字符转为半角大写
- excel全角变半角
- 输入一个字符串,如果第二个字符是字母(a~z ,A~Z),则将其大写变小写,小写变大写,如果不是字母则将其修改为空格,并将修改后的字符串输出。
- 全角字符 半角字符
- 全角 半角 字符 数字
- 去除全角半角字符
- 大写变小写
- excel大写变小写
- SQLServer中全角和半角字符的比较 已解决
- 全角字符和半角字符
- 全角字符转半角字符
- 全角字符转半角字符
- 全角字符和半角字符
- win8\wi8.1下全角字符和半角字符的切换以及其可以解决的word中文本问题
- Web项目中定时任务无法绑定SessionFactory的问题解决
- 房价会下跌么?
- Android之代码混淆
- java按照每周分组 改进版
- 解决jenkins产生的日志过大以及一些衍生问题
- 解决IkAnalyzer分词后文章字符全角变半角,字母大写变小写问题
- python爬取妹子图
- 这段时间使用MySQL的一些记录
- 读文有感(1)
- java jsoup 解析字符串默认加了“/n”符号的处理
- ApacheOFBiz的相关介绍以及使用总结(一)
- 小米网抢购系统开发实践
- 多线程下载文件
- ApacheOFBiz的相关介绍以及使用总结(二)