常见中文分词比较
来源:互联网 发布:社交软件 系统架构 编辑:程序博客网 时间:2024/05/18 01:55
原文出处:http://blog.csdn.net/aidayei/article/details/6675886
对于英文文档,其分词的过程很简单。中文文本的分类难度较大,主要是因为汉语分词问题的困难,即为此需要建立完整的汉语概念体系、汉语语法、语义和语用分析是十分复杂的。
lucene包自带的三种中文分词:
以“我是中国人”这句话作分词举例
1.StandardAnalyzer:我-是-中-国-人
2.CJKAnalyzer:我是-是中-中国-国人
3.SmartChineseAnalyzer:我-是-中国-人
第一种是一元分词,第二种是二元分词,第三种应该比较复杂了,没看源码,我猜应该是根据中文语义来分的,有兴趣的可以去详细看看源码
solr自带的中文分词,solr.CJKTokenizerFactory,solr.ChineseTokenizerFactory和solr.ChineseFilterFactory
solr.CJKTokenizerFactory对应于lucene中的CJKAnalyzer,是二元分词
solr.ChineseTokenizerFactory对应于lucene中的StandardAnalyzer,是一元分词
solr.ChineseFilterFactory被StopFilterFactory取代,看名字应该知道是停用词过滤
下面这两种还没得及看,不知道是不是也和lucene中的SmartChineseAnalyzer对应呢
org.apache.solr.analysis.SmartChineseSentenceTokenizerFactory
org.apache.solr.analysis.SmartChineseWordTokenFilterFactory
- 常见中文分词比较
- 常见中文分词比较
- 中文分词常见方法
- Lucene/Solr 中文分词比较
- 中文分词器性能比较
- 中文分词器性能比较
- 几种常见的中文分词包的分析与比较
- 中文分词技术比较:单字切分 vs 中文分词
- 常见中文分词开源项目
- 常见中文分词开源项目
- 常见中文分词开源项目
- 常见中文分词开源项目
- 三种中文分词算法优劣比较
- 三种中文分词算法优劣比较
- 三种中文分词算法优劣比较
- 三种中文分词算法优劣比较
- 三种中文分词算法优劣比较
- 用于Lucene的各中文分词比较
- javascript中的apply和call
- 【模式识别与机器学习】模式识别中的一些基本概念
- 程序员说。。。。
- 分布式和集群
- C实现 BinaryCode
- 常见中文分词比较
- How to encrypt weblogic password.
- JavaScript学习总结
- 辞旧迎新重磅出击,教程之ucgui_向按钮发送一个按键消息的程序追踪
- 致程序员
- shell参数
- Navigation Bar Toolbal 和 Tab Bar区别
- iPhone开发之音频101(Part 2):转换和录音
- java23种设计模式中最常用的9种