Lucene--TokenStream(TokenFilter、Tokenizer)
来源:互联网 发布:天猫不能用淘宝助理 编辑:程序博客网 时间:2024/06/05 14:54
TokenStream即是从Document的域(field)中或者查询条件中抽取一个个分词而组成的一个数据流。继承TokenStream的类必须是final类型的,或者至少increamStoken的方法是final的,TokenStream是抽象类,两个子类如下:
TokenFilter:输入参数为另一个TokerStream的TokerStream,这是一个抽象类,其子类必须覆盖TokenStream.incrementToken()函数
Tokenizer:输入为Reader的TokenStream,这是抽象类,其子类必须实现incrementToken()函数。注意:子类覆盖TokenStream.incrementToken()时, 在设置attributes 必须调用AttributeSource中的clearAttributes()方法。
TokenStream的工作流程:
1、实例化Tokenizer或TokenFilter,,添加属性到AttributeSource,或从AttributeSource中获取属性。
2、调用reset()方法
3、从流中和存储本地引用检索想要访问所有属性
4、调用increamStoken()方法,直到返回false
5、调用end()方法执行任何end-of-stream操作
6、调用close()方法在结束使用TokerStream释放一些资源
end()、reset()、close()的覆盖通常要调用super.end()、super.reset()、super.close()
0 0
- Lucene--TokenStream(TokenFilter、Tokenizer)
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene分词实现---Analyzer、TokenStream(Token、Tokenizer、Tokenfilter)
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
- Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer
- Lucene 中的Tokenizer, TokenFilter学习
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- lucene中的Token, TokenStream, Tokenizer, Analyzer
- Tokenizer and TokenFilter 区别
- lucene TokenFilter类学习
- lucene TokenStream类学习
- Lucene分词实现:Analyzer、TokenStream
- Lucene分词实现:Analyzer、TokenStream
- lucene通过tokenstream显示分词信息
- Lucene源码解析--Analyzer之Tokenizer
- Lucene学习笔记(2)自定义TokenFilter实现同义词
- tokenizer
- java实现4个线程对一个公共变量修改
- Java反射机制Class类的用法详解
- UIWebView加载网页、html、本地文件、二进制方式加载本地文件
- Android Fragment 笔记
- poj 2157 Maze 枚举排列+dfs搜迷宫
- Lucene--TokenStream(TokenFilter、Tokenizer)
- 经典书籍_java学习基础编程篇
- 归并排序
- [在github上搭建网站]使用Git搭建我的静态网站-搭建基本环境
- android 图片选择控件,单图裁剪,多图选择
- Web性能优化:What? Why? How?(二)
- springMVC文件下载
- 2.大数据基础(下)_1.理解Hadoop生态系统.txt
- 【ghost】centos使用nginx实现ghost博客系统的反向代理