Lucene搜索结果分页 query+cache 输出
来源:互联网 发布:php图书管理系统实例 编辑:程序博客网 时间:2024/05/22 06:40
在lucene搜索分页过程中,可以有两种方式
一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机
还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率
而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来.
比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据.
安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取
而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询
第三种思路就变成了
我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作
一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机
还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率
而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来.
比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据.
安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取
而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询
第三种思路就变成了
我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作
同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
class CacheList { private int pageIndex=1; private int cacheSize; public List<Document> CachePage = new List<Document>(); private bool isFirst = true; //是否是第一次搜索,在代码中要修改为setIsFirst和getIsFirst,下面雷同 public bool IsFirst { get { return isFirst; } set { isFirst = value; } } //设置索引的开始页t public int PageIndex { get{ return pageIndex;} set{ pageIndex = value;} } //设置缓存页数 public int CacheSize { get { return cacheSize; } set { cacheSize = value; } } //判断是否在缓存中,pindex 为页数 public bool InCache(int pindex) { if (pindex < (pageIndex + cacheSize) && pindex >= pageIndex && !isFirst) { return true; } //如果不在缓存中将第一次搜索的标示更新 isFirst = true; return false; } //清空缓存 public void flushCache() { for(int i=0;i<CachePage.Count;i++) { CachePage.RemoveAt(i); } } //增加缓存 public void AddCache(Document doc) { CachePage.Add(doc); } //读取缓存 //pindex 为页数 public List<Document> ReadCache(int pindex) { int index = (pindex-1)%CacheSize * 10; int end = index + 10; if (CachePage.Count < end) { end = CachePage.Count; } if (end >= index) { return CachePage.GetRange(index, end - index); } else { return new List<Document>(); } } }
搜索方法代码:
void search() { cList.CacheSize = 5; if (cList.InCache(Convert.ToInt32(PageIndex.Text))) { Console.WriteLine("--------从缓存中输出第" + PageIndex.Text + "页的数据----------------"); List<Document> pageList = cList.ReadCache(Convert.ToInt32(PageIndex.Text)); for(int i=0;i<pageList.Count;i++) { Console.WriteLine(pageList[i].Get("prodname")); } } else { cList.PageIndex = Convert.ToInt32(PageIndex.Text); Analyzer analyzer = new KTDictSegAnalyzer(); IndexSearcher isearcher = new IndexSearcher(Index_Store_Path); QueryParser parser = new QueryParser("prodname", analyzer); Query query = parser.Parse(this.textBox1.Text); Hits hits = isearcher.Search(query); Console.WriteLine("--------开始更新缓存----------------"); //先清空缓存 cList.flushCache(); int startIndex = (Convert.ToInt32(PageIndex.Text) - 1) * 10; int EndIndex = (Convert.ToInt32(PageIndex.Text) - 1) * 10 +(10*cList.CacheSize); if (EndIndex > hits.Length()) { EndIndex = hits.Length(); } for (int i = startIndex; i < EndIndex; i++) { cList.AddCache(hits.Doc(i)); } isearcher.Close(); List<Document> pageList = cList.ReadCache(Convert.ToInt32(PageIndex.Text)); for (int i = 0; i < pageList.Count; i++) { Console.WriteLine(pageList[i].Get("prodname")); } cList.IsFirst = false; } }
- Lucene搜索结果分页 query+cache 输出
- Lucene搜索结果分页 query+cache 输出 (转)
- lucene搜索结果分页
- Lucene高级搜素(Query、QueryParser和分页搜索)
- lucene Query搜索
- lucene搜索结果排序
- Lucene和 搜索结果聚集
- Lucene的搜索结果排序
- ASP搜索结果分页
- Lucene八(搜索分页)
- lucene query time join (关联搜索)
- lucene搜索方式(query类型)
- lucene搜索方式(query类型)
- lucene搜索方式(query类型)
- lucene搜索结果分页显示 google、baidu式的分页 我在项目中的应用(二)
- 03-Lucene中的搜索再搜索分页
- lucene结果集的分页处理
- 使用lucene对搜索结果排序
- opencv中文件路径的问题
- ios开发答疑录系列--XCode重命名文件夹
- 编程语言技术热度的一些转变
- 细谈C++中的new和malloc .
- VC++深入详解(12):网络编程
- Lucene搜索结果分页 query+cache 输出
- Fedora 17 安装显卡驱动正确方法
- 中山大学C++视频下载地址
- SSH整合FckEditor
- HDU 3622 2-SAT+二分
- Android页面切换方法和区别
- C语言中类型转换时的截取规则及补码表示的计算方法
- Android 图片裁剪功能实现详解(类似QQ自定义头像裁剪)
- float和double类型精度表示的区别