LUCENE.net 优化方案

来源:互联网 发布:月薪4000 知乎 编辑:程序博客网 时间:2024/05/19 23:12

 

现在的程序在创建 5万条索引的时候要用 1个小时

 

而且索引文件总大小已经超过了4G

 

对文章内容 content 内容搜索的时候特别的慢。

 

我们想做的是让索引文件瘦下来,让创建索引和查询速度快起来

 

查询速度

解决方法:

1.创建索引的时候 对content 进行 HTML剔除,并且截取一段,不全保存,搜索的时候对 文章关键字和内容关键字搜索。

这样做的 

优点:搜索的时候速度快,适合大数据量,搜索出来的内容更加符合用户需求。

缺点:创建索引速度会慢一些,但为了用户体验,损失创建速度值得。

(如果打算对文章内容进行索引并搜索的话。不要截取内容就可以了)

 

5000条对比

 

创建索引

解决方法:

1.创建索引的时候多线程创建

尝试了一下。不能多线程同时操作一个 INDEXWRITER 进行创建索引。

网上找到解决方法为 多线程,创建多个索引。然后合并

 

2.先写入内存,批量写入磁盘

 

 

待完成。。。。有时间写

 

原创粉丝点击