Lucene 的存储结构概述
来源:互联网 发布:java工作都做什么 编辑:程序博客网 时间:2024/06/14 00:34
lucene的检索算法属于索引检索,即用空间来换取时间,对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词。
lucene 在存储它的全文索引结构时,是有层次结构的,这涉及到5个层次:索引(Index);段(Segment);文档(Document);域(Field);词(Term),他们的关系如下图所示:(lucene 索引存储结构概念图)
下图是Lucene生成的索引的一个实例,右边是对这5个层次的描述:
![image image](http://hi.csdn.net/attachment/201005/13/0_1273721925zSR9.gif)
Lucene的索引结构是有层次结构的,主要分以下几个层次:
- 索引(Index):
- 一个目录一个索引,在Lucene中一个索引是放在一个文件夹中的。
- 如左图,同一文件夹中的所有的文件构成一个Lucene索引。
- 段(Segment):
- 一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。
在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制,段(Segment) 就是实现这种控制的。稍后详细描述段(Segment) 的控制策略。 - 如上图,具有相同前缀文件的属同一个段,图中共两个段 "_0" 和 "_1"。
- segments.gen和segments_5是段的元数据文件,也即它们保存了段的属性信息。
- 一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。
- 文档(Document):
- 文档是我们建索引的基本单位,不同的文档是保存在不同的段中的,一个段可以包含多篇文档。
- 新添加的文档是单独保存在一个新生成的段中,随着段的合并,不同的文档合并到同一个段中。
- 域(Field):
- 一篇文档包含不同类型的信息,可以分开索引,比如标题,时间,正文,作者等,都可以保存在不同的域里。
- 不同域的索引方式可以不同。
- 词(Term):
- 词是索引的最小单位,是经过词法分析和语言处理后的字符串。
Lucene的索引结构中,即保存了正向信息,也保存了反向信息。
所谓正向信息:
- 按层次保存了从索引,一直到词的包含关系:索引(Index) –> 段(segment) –> 文档(Document) –> 域(Field) –> 词(Term)
- 也即此索引包含了那些段,每个段包含了那些文档,每个文档包含了那些域,每个域包含了那些词。
- 既然是层次结构,则每个层次都保存了本层次的信息以及下一层次的元信息,也即属性信息,比如一本介绍中国地理的书,应该首先介绍中国地理的概况,以及中国包含多少个省,每个省介绍本省的基本概况及包含多少个市,每个市介绍本市的基本概况及包含多少个县,每个县具体介绍每个县的具体情况。
- 如上图,包含正向信息的文件有:
- segments_N保存了此索引包含多少个段,每个段包含多少篇文档。
- XXX.fnm保存了此段包含了多少个域,每个域的名称及索引方式。
- XXX.fdx,XXX.fdt保存了此段包含的所有文档,每篇文档包含了多少域,每个域保存了那些信息。
- XXX.tvx,XXX.tvd,XXX.tvf保存了此段包含多少文档,每篇文档包含了多少域,每个域包含了多少词,每个词的字符串,位置等信息。
所谓反向信息:
- 保存了词典到倒排表的映射:词(Term) –> 文档(Document)
- 如上图,包含反向信息的文件有:
- XXX.tis,XXX.tii保存了词典(Term Dictionary),也即此段包含的所有的词按字典顺序的排序。
- XXX.frq保存了倒排表,也即包含每个词的文档ID列表。
- XXX.prx保存了倒排表中每个词在包含此词的文档中的位置。
段(Segment) 的控制策略
在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制:
Lucene默认情况是每加入10份文档(Document)就从内存往index文件写入并生成一个段(Segment) ,然后每10个段(Segment)就合并成一个段(Segment). 这些控制的变量如下:
IndexWriter属性 默认值 描述 MergeFactory 10 控制segment合并的频率和大小 MaxMergeDocs Int32.MaxValue 限制每个segment中包含的文档数 MinMergeDocs 10 当内存中的文档达到多少的时候再写入segmentMaxMergeDocs用于控制一个segment文件中最多包含的Document数.比如限制为100的话,即使当前有10个segment也不会合并,因为合并后的segment将包含1000个文档,超过了限制。
MinMergeDocs用于确定一个当内存中文档达到多少的时候才写入文件,该项对segment的数量和大小不会有什么影响,它仅仅影响内存的使用,进一步影响写索引的效率。
参考资料:
第三节 Lucene索引文件格式分析
http://hi.baidu.com/hustwk/blog/item/133bd2333f867047ad4b5fd0.html
Lucene学习总结之三:Lucene的索引文件格式(1)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html
Lucene学习总结之三:Lucene的索引文件格式(2)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html
Lucene入门与使用
http://blog.csdn.net/mxz391/archive/2007/05/15/1610140.aspx
Lucene 源代码剖析-4 索引文件结构(1)
http://www.cnblogs.com/eaglet/archive/2009/02/13/1390033.html
开放源代码的全文检索引擎Lucene
http://www.lucene.com.cn/about.htm
Lucene:基于Java的全文检索引擎简介
http://www.chedong.com/tech/lucene.html
Lucene应用架构分析
http://book.51cto.com/art/200807/80198.htm
浅谈Lucene架构——开源搜索架构(二)
http://swanmsg.blog.sohu.com/112470914.html
lucene.net的索引的建立(三): 建立索引的问题
http://tech.ddvip.com/2008-10/122337481074843.html
- Lucene 的存储结构概述
- Lucene 存储结构
- 段页式存储结构概述
- Lucene的包结构
- Lucene的系统结构
- Lucene的结构
- Lucene的总体结构
- 分布式存储hypertable结构概述
- Lucene学习笔记:Lucene的总体结构
- Lucene 概述
- lucene概述
- MySQL数据库概述;mysql数据库的安装。MySQL数据库的存储方式概述;SQL概述:结构化查询语言
- lucene的索引文件结构
- lucene索引结构的整理
- Lucene索引的详细结构
- Lucene索引存储的优化
- Oracle逻辑存储结构1—概述
- 结构的概述
- 策略模式之商场促销
- vs2008添加自定义系统必备
- 算法 计价里程按里程区间阶梯状计价
- SQL2005 四个排名函数(row_number、rank、dense_rank和ntile)的比较
- JSR168 初探
- Lucene 的存储结构概述
- 李一男的名言---确实总结的很好啊
- Life
- Java多线程的相关机制
- 网友怎么看网络社区实名制
- gamebryo--NiStandardMaterial
- 简单顺序队列操作(不考虑循环)
- Java线程知识深入解析(1)
- Linux查看硬件信息及驱动设备相关整理