solr研究

在此推荐solr学习论坛http://www.solr.cc/

1. Solr简介

历史：

Ø  2004年CNET开发Solar，为CNET提供站内搜索服务

Ø  2006年1月捐献给Apache ，成为Apache的孵化项目

Ø  一年后Solr孵化成熟，发布了1.2版，并成为Lucene的子项目

Ø  2010年  6月  solr发布了最新的1.4.1版，这是1.4的bugfix版本

Ø  如今Solr已经广为人知，并且许多公司都已经使用Solr去构建自己的搜索引擎：

Ø       AOL、 Disney、Apple, Inc、阿里巴巴、安居客……

 

概况：

Ø Searchon lucene w/Replication

Ø 一个基于Lucene的全文搜索服务器

Ø 提供了基于Http的Rest-like操作接口

Ø 高可扩展的开放架构

Ø 提供了强大的WEB管理界面

Ø 有多种客户端：Ruby、PHP 、Java 、Python 、.NET 、Perl 、JavaScript

Ø 索引复制

Ø 更方便的使用停用词、同义词等

Ø 易于集成、几乎不用写代码就能适应一般的需求

 

一句话概况：Solr是Lucene面向企业搜索应用的扩展！

2. Solr功能介绍

l   

l   

Ø  提供了丰富的查询缓存

Ø  很容易的为本地以及远程的数据创建索引，DataImportHandler

Ø  对Rich Document(word、pdf、ppt……)进行解析和创建索引

Ø  快速增量更新索引，并复制到其他机器上

Ø  层面搜索

Ø  More like this、Spelling suggestions、Auto-suggest……

Ø  高度的可扩展性

Ø  NearRealtimeSearch

3. Solr实现原理

Ø  Lucene回顾

Ø  用Java编写的全文信息检索工具包，提供了基本的API

Ø  使用倒排索引技术，极大提高了检索效率

Ø  让最相关的头100条结果满足98%以上用户的需求

Ø  Org.apache.lucene.document、analysis、index、search

Ø  应用jive、eclipse、linkedin(bobo、zoie)、twritter(NRT)

 

l   Lucene索引结构

l  Segment

l  Document

l  Filed

l  Term

l   Lucene搜索原理

l  分词、中文分词

Ø  机械分词：一元、二元、基于词库的分词

l  未登录词识别：机构名、人名、神马

l  歧义词

Ø  基于统计：HMM

l  样本

l  索引

Ø  国家：{1,3,6,8,}

Ø  上海：{3,7,16,17}

Ø  法规：{1,6}

Ø  人民：{3,9,16,20}

l  搜索

Ø  搜索：上海人民

Ø  解析为： ’上海’ and  ‘人民’ ，表示搜索同时出现’上海 ‘和’人民’的文档

可以搜索出第3 和第16篇文档

        

Ø  Solr架构

总体架构

 

 

查询

 

查询扩展

 

建索引

4. Solr分布式

1、  索引分片（水平扩展）

2、  对分片做副本（并发、容错）

3、  Zookeeper总体调度

4、  查询引擎对结果做merge

5. Solr性能指标

负载量：待测试

查询速度：待测试

并发量：待测试

6. Solr结合微博应用构建方案

1、  主体组件：搭建solr集群（多solr实例+replication）。

2、  数据接入：使用onlinestream接入firehose数据，发送数据给solr，对数据做sharding分发

3、  索引构建：Solr设置定时更新索引

4、  功能扩展：扩展solr的排序功能，开发二次过滤功能。

4、client端查询：客户端通过solrj（java客户端）或者http请求进行查询

 

7. Solr待解决疑问

7.1索引更新

Solr搜索中第一次对数据建索引为索引新建，后续过程是索引更新过程。随着索引量增大是不是会出现更新越来越慢的情况。而且对于新增词库存在需要对原有索引进行重建过程.

增量索引/索引更新问题目前较好的解决方案是google的Caffeine

在Google采用Caffeine之前，Google使用MapReduce和分布式文件系统（如GFS）来构建搜索索引（从已知的Web页面索引中）。在2010年，Google搜索引擎发生了重大变革。Google将其搜索迁移到新的软件平台，他们称之为“Caffeine”。Caffeine是Google出自自身的设计，Caffeine使Google能够更迅速的添加新的链接（包括新闻报道以及博客文章等）到自身大规模的网站索引系统中，相比于以往的系统，新系统可提供“50%新生”的搜索结果。

在本质上Caffeine丢弃MapReduce转而将索引放置在由Google开发的分布式数据库BigTable上。

7.2分片问题

         按时间分片/按id的hash分片？