lucene索引优化前后性能对比及优化方针

针对目前线上产品进行压力，发现不少问题，现在做个总结

我们的产品是一个问答系统，主要核心技术是lucene搜索，针对不同实例，分成不同的索引目录，有N个实例会存在N个indexwriter

目前测试数据量及环境如下：

   6核4G
   数据量1000万
   问题字数：平均14个字
   问题答案字数：平均418个字

优化前1000万数据量需要构建索引16个小时，IO已经极限

优化后1000万数据量针对不同实例对比如下

 

索引构建所并发数

单实例构建索引

两个实例两个线程并发构建索引

三个实例三个线程并发构建索引

内存优化时间

182655毫秒  3分钟

实例1

 

192110毫秒 3.20分钟

实例1

 

189883毫秒 3.164分钟 

实例2

 

192114毫秒 3.20分钟

实例2

 

189889毫秒3.164分钟 

 

 

实例3

 

189879毫秒 3.164分钟 

磁盘优化时间

1514423毫秒   25分钟

实例1

 

3820694毫秒  63.678分钟

实例1

 

4874940毫秒 81.249分钟

实例2

 

3322985毫秒  55.383分钟

实例2

 

4579260毫秒 76.321分钟

 

 

实例3

 

4807620毫秒 80.127分钟

单独构建索引的时间

4663807毫秒    1.295 个小时

实例1

 

7867191毫秒  2.185小时

实例1

 

13925086 毫秒 3.868 小时

实例2

 

7776207毫秒  2.16小时

实例2

 

14423098 毫秒 4.006小时

 

 

实例3

 

14349161 毫秒 3.985小时

构建索引和优化总时间

6196072毫秒   1.721 小时

实例1

 

11811529毫秒 3.28小时

实例1

 

18991299毫秒 5.275小时

实例2

 

11202412毫秒 3.11小时   

实例2

 

19212047毫秒 5.336小时

 

 

实例3

 

19356620毫秒 5.376小时 

 

 

 

优化方针：

     1、多线程构建索引

        采用jdk1.5提供的线程池多线程构建索引

     2、构建索引的脚本调优

        采用游标方式抓取数据而不是分页抓取数据

     3、lucene api调优

            indexwriter.setRAMBufferSizeMB(256);// M
            indexwriter.setUseCompoundFile(false);// 多文件索引
            indexwriter.setMergeFactor(10);