IK Analyzer demo

来源：互联网发布：关于大数据的论文编辑：程序博客网时间：2024/05/06 05:51

来源：http://dearggae.blogcn.com/articles/ik-analyzer-getting-started.html

【内容简介】

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

1.采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

2.在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

3.2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

4.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符

5.优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

下载路径:http://code.google.com/p/ik-analyzer/downloads/list

【使用入门】

需要在项目中引入的内容如下：

IKAnalyzer.cfg.xml

IKAnalyzer2012.jar

lucene-core-3.6.0.jar

stopword.dic

【使用IK Analyzer及lucene】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
package IKAnalyzer.dearggae;  
          
import java.io.IOException;    
import java.io.StringReader;    
import org.apache.lucene.analysis.Analyzer;    
import org.apache.lucene.analysis.TokenStream;    
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;    
import org.wltea.analyzer.lucene.IKAnalyzer;    
            
public class Test2 {    
    public static void main(String[] args) throws IOException {    
        String text="基于java语言开发的轻量级的中文分词工具包";    
        //创建分词对象    
        Analyzer anal=new IKAnalyzer(true);         
        StringReader reader=new StringReader(text);    
        //分词    
        TokenStream ts=anal.tokenStream("", reader);    
        CharTermAttribute term=
                    ts.getAttribute(CharTermAttribute.class);    
        //遍历分词数据    
        while(ts.incrementToken()){    
            System.out.print(term.toString()+"|");    
        }    
        reader.close();    
        System.out.println();    
    }           
} 

【使用IKAnalyzerDuLi】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
package IKAnalyzer.dearggae;  
         
import java.io.IOException;    
import java.io.StringReader; 
import org.wltea.analyzer.core.IKSegmenter;    
import org.wltea.analyzer.core.Lexeme;    
           
public class Test3 {    
               
    public static void main(String[] args) throws IOException {    
        String text="基于java语言开发的轻量级的中文分词工具包";    
        StringReader sr=new StringReader(text);    
        IKSegmenter ik=new IKSegmenter(sr, true);    
        Lexeme lex=null;    
        while((lex=ik.next())!=null){    
            System.out.print(lex.getLexemeText()+"|");    
        }    
    }          
}  

【输出的结果】

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|

0 0