lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
来源:互联网 发布:淘宝可以说好评返现吗 编辑:程序博客网 时间:2024/05/16 18:25
分词器的核心类:
Analyzer:分词器
TokenStream:分词器做好处理之后得到的一个流。这个流中存储了分词的各种信息,可以通过TokenStream有效的获取到分词单元。
以下是把文件流转换成分词流(TokenStream)的过程
测试:
Analyzer:分词器
TokenStream:分词器做好处理之后得到的一个流。这个流中存储了分词的各种信息,可以通过TokenStream有效的获取到分词单元。
以下是把文件流转换成分词流(TokenStream)的过程
首先,通过Tokenizer来进行分词,不同分词器有着不同的Tokenzier,Tokenzier分完词后,通过TokenFilter对已经分好词的数据进行过滤,比如停止词。过滤完之后,把所有的数据组合成一个TokenStream;以下这图就是把一个reader转换成TokenStream:
这个TokenStream中存有一些属性,这些属性会来标识这个分词流的元素。
在这个流里 有很多属性。下面截了lucene4.10.1源码中的图:
其中有3个重要的属性,CharTermAttribute(保存相印的词汇),OffsetAttribute(保存各个词汇的偏移量),PositionIncrementAttribute(保存各个词与词之间的位置增量,如果为0,可以做同义词搜索)。是由这3个属性来控制这些分词信息
Tokenzier主要负责接收Reader,将Reader进行分词操作,有如下一些实现类
TokenFilter 将分词的出来的单元,进行各种各样的过滤。
代码如下:
<span style="font-size:14px;">package hhc;import java.io.IOException;import java.io.StringReader;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.TokenStream;import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;import org.apache.lucene.analysis.tokenattributes.PositionIncrementAttribute;import org.apache.lucene.analysis.tokenattributes.TypeAttribute;public class AnalyzerUtil {/** * 输出字符分词信息 * * @param str * @param a */public static void displayAllToken(String str, Analyzer a) {try {// 所有的分词器都必须含有分词流TokenStream stream = a.tokenStream("content", new StringReader(str));// 放回一个TokenStream;/** * 创建一个属性,这个属性会添加到流里,随着这个TokenStream流增加 * 这个属性中保存中所有的分词信息 */CharTermAttribute cta=stream.addAttribute(CharTermAttribute.class);//位置增量的属性,存储词之间的距离PositionIncrementAttribute pia = stream.addAttribute(PositionIncrementAttribute.class);//储存每个词直接的偏移量OffsetAttribute oa = stream.addAttribute(OffsetAttribute.class);//使用的每个分词器直接的类型信息TypeAttribute ta = stream.addAttribute(TypeAttribute.class);for (; stream.incrementToken();) {System.out.print(pia.getPositionIncrement()+":");System.out.print(cta+":["+oa.startOffset()+"-"+oa.endOffset()+"]-->"+ta.type()+"\n");}System.out.println();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}</span>
测试:
<span style="font-size:14px;">@Testpublic void hhcTest(){Analyzer a1 =new StandardAnalyzer(Version.LUCENE_35);Analyzer a2 =new StopAnalyzer(Version.LUCENE_35);Analyzer a3 =new SimpleAnalyzer(Version.LUCENE_35);Analyzer a4 =new WhitespaceAnalyzer(Version.LUCENE_35);String txt ="how are you think you";AnalyzerUtil.displayAllToken(txt, a1);AnalyzerUtil.displayAllToken(txt, a2);AnalyzerUtil.displayAllToken(txt, a3);AnalyzerUtil.displayAllToken(txt, a4);}</span>
2 0
- lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- Lucene--TokenStream(TokenFilter、Tokenizer)
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- Lucene 中的Tokenizer, TokenFilter学习
- Lucene分词实现:Analyzer、TokenStream
- Lucene分词实现:Analyzer、TokenStream
- lucene 分词器Analyzer
- Lucene Analyzer(分词器)
- Lucene的分词器Analyzer
- Lucene的分词器Analyzer
- Lucene的分词器Analyzer
- Lucene的分词器Analyzer
- Solr 关于Analyzer、Tokenizer、和Filter,以及中文分词器
- DMA技术
- 刘首岐将演电影《谁的青春不叛逆》 叛逆少女转型成演员
- GIT操作基本详解(1)
- 各种资源(持续更新中)
- scala的极强编辑器:sublime3
- lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
- DIV的隐藏设置
- AVL树与Hash Table
- 文本分类实验中用java实现取名词和去除停用词
- awk中next以及getline用法示例
- C++ 静态变量或成员初始化陷阱与缺陷
- UVA 401 Palindromes 回文词
- 使用greenDAO进行开发总结
- 黑马程序员IOS键盘的关闭以及通知中心的运用