IK Analyzer分词工具(转载)
来源:互联网 发布:nba历届全明星mvp数据 编辑:程序博客网 时间:2024/05/22 09:17
package com.haha.test;
import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;
public class Test2 {
public static void main(String[] args) throws IOException {
String text="基于java语言开发的轻量级的中文分词工具包";
//创建分词对象
Analyzer anal=new IKAnalyzer(true);
StringReader reader=new StringReader(text);
//分词
TokenStream ts=anal.tokenStream("", reader);
CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
//遍历分词数据
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
System.out.println();
}
}
package com.haha.test;
import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
public class Test3 {
public static void main(String[] args) throws IOException {
String text="基于java语言开发的轻量级的中文分词工具包";
StringReader sr=new StringReader(text);
IKSegmenter ik=new IKSegmenter(sr, true);
Lexeme lex=null;
while((lex=ik.next())!=null){
System.out.print(lex.getLexemeText()+"|");
}
}
}
package IKAnalyzerTest;
import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.IKSegmentation;
import org.wltea.analyzer.Lexeme;
/**
* Hello world!
*
*/
public class App
{
public static void main( String[] args ) throws IOException{
String str = "从那时起,我就不是坏人了";
StringReader reader = new StringReader(str);
IKSegmentation ik = new IKSegmentation(reader,true);//当为true时,分词器进行最大词长切分
Lexeme lexeme = null;
while((lexeme = ik.next())!=null)
System.out.println(lexeme.getLexemeText());
}
}
- IK Analyzer分词工具(转载)
- IK Analyzer 分词
- 中文分词 IK Analyzer
- Lucene中文分词IK Analyzer
- IK Analyzer中文分词器
- IK Analyzer实现中文分词
- 使用IK Analyzer实现中文分词(JAVA)
- solr4.7中文分词器(ik-analyzer)配置
- solr4.7中文分词器(ik-analyzer)配置
- solr5.5.3 集成ik-analyzer中文分词(五)
- solr4.7中文分词器(ik-analyzer)配置
- solr4.7中文分词器(ik-analyzer)配置
- solr4.7中文分词器(ik-analyzer)配置
- solr4.7中文分词器(ik-analyzer)配置
- Lucene 学习(二):使用IK Analyzer中文分词
- solr-4.7.2分词器(ik-analyzer)配置
- IK Analyzer 3.0 中文分词器
- 简单的java中文分词IK Analyzer
- 输入流与输出流
- File类
- 网络编程
- eclipse一闪而过的解决方式(转载)
- java中产生随机数的方法
- IK Analyzer分词工具(转载)
- 正则表达式
- 时间 日期 相关类
- java中跳出多重循环的方法
- 反射机制
- 运算符优先级经典题c+=c++;
- 算法知识点
- 十进制,二进制,八进制的相互转换
- Firefox 将让多进程功能开放给更多使用者使用