提高Lucene索引性能
来源:互联网 发布:肖恩坎普身体数据 编辑:程序博客网 时间:2024/04/29 12:03
当索引的文件不多时,用 Lucene 默认的设置就能得到很好的性能。但是,如果索引大量文件,就得通过一些手段去提高 Lucene 索引性能。
1、 索引性能差的原因
1) Lucene 索引过程
在索引文件的过程中, Lucene 不是直接将文件索引到磁盘上,而是首先缓存,然后在写到磁盘。如上图所示。
2) 索引过程的瓶颈
² 往磁盘上写索引文件的过程
² 将磁盘上的几个小 Segment 合并成一个大的 Segment 的过程
2、 提高索引性能的方法
1) 方式 1 :调整 IndexWriter 参数
为控制索引占用的内存以及 Segment 段合并的频率, Lucene 提供了以下三个参数,通过调整这三个参数的值,可以改善索引的性能。
² mergeFactor (合并因子):决定把磁盘上的索引块合并成一个大的索引块的频率,默认值为 10 。
比如, mergeFactor = 10 ,那么当 Segment 的数量达到 10 的话,这 10 个 Segment 会被合并成一个新的 Segment 。如果合并后的这个大的 Segment 的数量达到 10 的话还会被合并成一个更大的 Segment 。直到 Segment 中索引的文件数量达到 maxMergeDocs 时不在合并。
如果需要索引的文档数非常多的话这个默认值将是非常不合适的。对批处理的索引来讲,为这个参数赋一个比较大的值会得到比较好的索引效果。
² minMergeDocs ( 最小合并文档数 ) :决定了内存中的文档数至少达到多少才能将它们写回磁盘(其实就是 buffer 的大小)。默认值是 10 。
如果你有足够的内存,那么将这个值尽量设的比较大一些将会显著的提高索引性能。
² maxMergeDocs (最大合并文档数):决定了一个索引块中的最大的文档数。默认值是 Integer.MAX_VALUE 。
这个参数设置为比较大的值可以提高索引效率和检索速度,由于该参数的默认值是整型的最大值,所以我们一般不需要改动这个参数。
2) 方式 2 :使用 RAMDirectory
² RAMDirectory 与 FSDirectory 的不同: RAMDirectory 的所有操作都在内存中,而 FSDirectory 的操作直接对应磁盘。因此 RAMDirectory 比 FSDirectory 要快。
² 先将索引写入 RAMDirectory 到一定程度在从 RAMDirectory 写入 FSDirectory 可以提高索引性能。
FSDirectory fsDir = FSDirectory.getDirectory( " /tmp/index " , true );
RAMDirectory ramDir = new RAMDirectory();
IndexWriter fsWriter = IndexWriter(fsDir, new SimpleAnalyzer(), true );
IndexWriter ramWriter = new IndexWriter(ramDir, new SimpleAnalyzer(), true );
while (there are documents to index) {
create Document
ramWriter.addDocument(doc);
if (condition for flushing memory to disk has been met) {
fsWriter.addIndexes(Directory[] {ramDir} );
ramWriter.close();
ramWriter = new IndexWriter(ramDir, new SimpleAnalyzer(), true );
}
}
- 提高Lucene索引性能
- 提高LUCENE索引性能
- 提高lucene索引速度
- lucene-调整索引性能
- 如何提高和优化Lucene索引速度
- 用索引提高SQLServer性能
- oracle 函数索引 提高性能
- 创建视图索引,提高性能
- 提高查询性能-全文索引
- 索引视图可以提高性能
- lucene-利用内存中索引和多线程提高索引效率
- 影响Lucene索引速度原因以及提高索引速度技巧
- 影响Lucene索引速度原因以及提高索引速度技巧
- 影响Lucene索引速度原因以及提高索引速度技巧
- lucene-利用内存中索引和多线程提高索引效率
- Lucene索引性能调整测试结果
- Lucene索引性能调整测试结果
- 转(备忘)提高lucene索引速度技巧汇总
- 与搜索引擎相关的东东
- 博主新软件发布 1and1 Mail 免费邮件群发软件
- lucene.net索引文件存储简析
- SOMA的学习体会
- 搜索的前提:建立索引
- 提高Lucene索引性能
- Lucene索引性能调整测试结果
- Lucene中Field的类型
- 《电子商务概论》复习要点
- Lucene.net 系列一
- 【IT168 新闻】用友U9 SOA管理软件业标杆吗?
- “辽宁女”父亲的公开道歉信
- Lucene.net 系列二 --- index (上)
- Lucene.net 系列三 --- index 中