10. 搜索操作指南 (4)
来源:互联网 发布:无人驾驶云计算 编辑:程序博客网 时间:2024/06/05 14:21
上一篇:WEBUS2.0 In Action - 搜索操作指南(3)
6. 搜索多个索引
为了提升性能, 我们可以从多个索引同时进行搜索, Webus.Search.MultiSearcher提供了相关功能:
public MultiSearcher(ISearcher[] searchers) {...}
我们将多个ISearcher对象传入MultiSearcher, 就可以像操作一个ISearcher对象那样进行搜索了.
IIndexer idx1 = new IndexManager();idx1.Open(@"c:index1");IIndexer idx2 = new IndexManager();idx2.Open(@"c:index2");ISearcher se1 = new IndexSearcher(idx1);ISearcher se2 = new IndexSearcher(idx2);ISearcher se = new MultiSearcher(new ISearcher[] { se1, se2 });var result = se.Search("Title="key"");
由于MultiSearcher本身特性的限制, 如下方法和属性是不被支持的:
public int MinDocIdpublic int MaxDocIdpublic void Open(string indexPath)public void Open(Webus.IO.IDirectory dir)public Document SelectDoc(int docId)public Document SelectDoc(int docId, string[] fieldnames)public List<Document> SelectDoc(int[] docIds)public List<Document> SelectDoc(int[] docIds, string[] fieldnames)
值得注意的是, MultiSearcher会顺序调用所有的子搜索, 是顺序运行而非并发运行. 如果索引文件都在同一个物理磁盘上, 顺序运行的方式往往可以获得更好的性能. 不过如果我们有多块磁盘, 并且索引分别保存在不同的磁盘上, 那么我强烈推荐使用另外一种并发的搜索方式: Webus.Search.ParallelSearcher
public ParallelSearcher(ISearcher[] searchers) {...}
调用方式如下:
IIndexer idx1 = new IndexManager();idx1.Open(@"c:index1"); //索引index1在C盘, C盘是物理磁盘1#IIndexer idx2 = new IndexManager();idx2.Open(@"d:index2"); //索引index2在D盘, D盘是物理磁盘2#ISearcher se1 = new IndexSearcher(idx1);ISearcher se2 = new IndexSearcher(idx2);ISearcher se = new ParallelSearcher(new ISearcher[] { se1, se2 });var result = se.Search("Title="key"");
这个时候两块物理磁盘1#, 2#不会发生争用, 查询性能是能够得到明显提升的.
7. 缓存搜索结果
内存存取速度是硬盘的100倍以上. 正因为这个原因, 磁盘索引永远不可能比内存索引快. 因此我们需要为搜索结果添加缓存来改善我们的应用程序性能. 为此WEBUS2.0 SDK提供了Webus.Searcher.CacheSearcher来实现搜索缓存的功能.
public CacheSearcher(IQueriable indexer) {...}public ICacher<string, Webus.Search.Hits> QueryCacher { get; set; }public ICacher<int, Webus.Documents.Document> DocCacher { get; set; }public ICacher<string, Webus.Documents.Field> FieldCacher { get; set; }
在反复对10万数据级别的索引进行测试之后, 我们发现了如下三种缓存最能够提升性能:
Query Cache
对Search的结果进行缓存, 这些结果是最终结果. 这个缓存使用LRU算法进行调度, 同时由后台线程进行更新维护.
Doc Cache
通过分析索引中原始关键词的结果分布情况, 按照出现频率由高到低进行缓存. 这种缓存可以明显的改善数据加载性能, 其覆盖率与改善效果成正比. 这个缓存属于静态缓存, 数据一次性预加载到系统中.
Field Cache
通过预先加载可排序字段的值来提高排序性能. 这个缓存按照DocId由大到小进行加载. 也属于静态缓存, 数据一次性预加载到系统中. 值得注意的是, 这个缓存会尽量利用Doc Cache中已有的缓存数据来提高效率, 减少内存空间占用率.
不论是QueryCache, DocCache还是FieldCahce, 都是ICacher类型, WEBUS中提供了两个ICahcer的实现:
Webus.Search.Caches.LRUCacher - 近期最少使用缓存
Webus.Search.Caches.LRUExpiryCacher - 近期最少使用过期缓存
关于LRU算法, 网上有很多解释, 可以参照 http://baike.baidu.com/view/70151.htm
至于LRUExpiry算法, 其实是在LRU的基础上增加过期策略, 并利用后台线程实时释放过期的缓存项目, 从而减小内存占用. 属于一种增强型算法.
使用CacheSearcher的示例代码如下:
IIndexer idx = new IndexManager();idx.Open(@"c:index");CacheSearcher se = new CacheSearcher(idx);se.QueryCacher = new LRUCacher(1000); //MaxSize=1000se.DocCacher = new LRUCacher(1000);se.FieldCacher = new LRUCacher(1000);var result = se.Search("Title="key"");
不论是LRUCacher还是LRUExpiryCacher, 我们可以通过指定缓存条目数(MaxSize)来限制内存占用. 需要注意的是这两种算法并非严格的遵循MaxSize的限制, 有时候也会可能超过这个限制, 但是马上会被后台维护线程发现并将需要淘汰的项目清除掉, 直至恢复到MaxSize之下.
至此, WEBUS2.0搜索部分就全部介绍完了. 在搜索操作指南 - (1) 到 (4)中, 我们分别介绍了如下主题:
- IQueriable内置的搜索功能
- Query对象的使用
- 对搜索结果进行评分, 排序和过滤
- 搜索多个索引 (顺序, 并发)
- 缓存搜索结果
希望能够有所帮助. WEBUS2.2.3.9已经发布, 赶快集成到你的程序中去吧! 下载地址
相关信息及WEBUS2.0 SDK下载:继续我的代码,分享我的快乐 - WEBUS2.0
访问我们的站点: www.gdtsearch.com
- 10. 搜索操作指南 (4)
- 7. 搜索操作指南 (1)
- 8. 搜索操作指南 (2)
- 9. 搜索操作指南 (3)
- WEBUS2.0 In Action - 搜索操作指南 - (4)
- WEBUS2.0 In Action - 搜索操作指南 - (1)
- WEBUS2.0 In Action - 搜索操作指南 - (2)
- WEBUS2.0 In Action - 搜索操作指南 - (3)
- iResearch-付费搜索营销操作指南(优化篇)
- 操作指南
- GOOGLE高级搜索指南
- 搜索框设计指南
- 指南、图书搜索第一版优化
- coreseek搜索系统建立指南
- Javamail操作指南(一)
- Javamail操作指南(二)
- CString 操作指南
- CString 操作指南
- Android系统级电源管理
- 7. 搜索操作指南 (1)
- 8. 搜索操作指南 (2)
- 9. 搜索操作指南 (3)
- [原创] - C#编程大幅提高OUTLOOK的邮件搜索能力!
- 10. 搜索操作指南 (4)
- Java程序员应该知道的10个调试技巧
- Thread & TreeView in maxScript Reference
- Linux下的段错误产生的原因及调试方法
- 分枝界限法
- 如何免费获取百度文档,简单实用,2013亲测
- select模型中需不需要ioctlsocket的问题
- 使用顺序表求解约瑟夫环问题 (自定义顺序表)
- NSLog输出