搜索引擎研究

Sphinx + mysql高效的站内搜索引擎搭建

是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL也设计了一个存储引擎插件。

Sphinx单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需 3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。

http://jingyan.baidu.com/article/95c9d20d9a7176ec4e756119.html

 

Nutch和Lucene,SOLR

Nutch是基于Lucene的。Lucene为Nutch提供了文本索引和搜索的API。一个常见的问题是：我应该使用Lucene还是Nutch？最简单的回答是：如果你不需要抓取数据的话，应该使用Lucene。

lucene是一个做搜索用的类库。 nutch和solr都是基于lucene的，二者都是可直接运行的应用程序。 

Solr是lucene的服务器化，内嵌了jetty，提供REST接口， 
用户可以直接post数据给solr，然后由solr进行索引。 
solr不包含下载系统，用户需要负责下载，转成solr所需要的格式。 
solr还提供查询接口供用户查询。 
nutch可以看成一个out-of-box的搜索引擎，包含了crawler，indexer和查询接口。 但nutch更偏向于下载系统。 一般可以使用nutch做crawler，而使用solr做indexer和查询接口。