Lucene 搜索引擎( ing..)

对于搜索，按被搜索的资源类型，分为两种：可以转为文本的、多媒体类型。

Lucene所做的是全文检索（Full-Text Retrieval）,是指以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索，我们要知道：1，只处理文本。2，不处理语义。3，搜索时英文不区分大小写。4，结果列表有相关度排序。

在信息检索工具中，全文检索是最具通用性和实用性的。

 

搜索的原理基本一致.
Whether it be a tool for searching the entire internet, a corporate intranet or a small website, the principal is the same.
It might go something like " Find all the availabel data sources and move then into an archive, stroe the data in some soft of searchable

format, and make a client to search this database... "
Put more formallly the three steps are Crawling , Indexing, and Searching.

*Crawling.  ( -> Make data heap )
  - is the process of finding all availavle data sources and storing it in some archives.

*Indexing:  (-> Make structured data )
  - is the process in order to make the content more accessible , the data need to be stored in a structured format.

*Searching : ( -> Get Result by Search a term )
  - is the process to do a query and get the result.

Without a doubt the most challanging part of a search engine is the indexing.

Indexing . (索引)
Lucene索引过程分成三个主要的操作阶段：(1)将数据转换为文本.--> (2) 分析文本-->(3)分析过的文本保存到索引库中。

索引中五大核心类：
(1) IndexWriter类
  - 创建一个新的索引并且把文档加入到已有的索引中。（仅对索引进行写操作)

(2) Directory类
  - 描述了索引存放的位置.
  - 是抽象类，有2个具体的子类. FSDirectory(文件系统的目录中创建索引文件), RAMDriectory.(内存中保存数据)
 
(3) Analyzer类
  - 文本在被索引之前，需要进过分析器（Analyzer）的处理。
  - 应用程序在IndexWriter的构造函数中指定程序所需要使用的分析器。
  - 负责从被索引的文本文件中提取语汇单元(tokens)，剔除无用信息。
  - 是抽象类，Lucene中提供他的几个具体实现类。

(4) Document类
  - 代表一些域的(Fiield) 的集合。
  - 可以吧Document对象当成一个虚拟的文档(web页面，Email消息，文本文件)，然后从中取回大量的数据。

(5) Field 类,
  - 每个Document对象包括一个或多个域(Field).每个域对应于一段数据
  - Lucene提供四种不同的域: Keyword域,UnInexed域,UnStored域，Text域。

Searching ( 搜索)
搜索中的四大核心类.
(1)IndexSearcher类.
   - 搜索之前由IndexWriter类所创建的索引.
   - 最简单的search方法是将一个Query对象作为参数，返回一个Hits对象.
      IndexSearcher is = new IndexSearcher(FSDirectory.getDirectory("/tmp/index",false));
      //查找 contents Field中包含单词"lucene"的所有文档。TermQuery 是从抽象父类Query继承而来。
     Query q = new TermQuery(new Term("contents","lucene")); 
                                                                                    
     Hits hits = is.search(q);

(2)Term类.
    - 用于搜索的基本单元。包含了一对字符串元素. 和 Field中的name , value 相对应。

(3) Query类
    - 抽象类，具体的子类有TermQuery, BoolearnQuery, PhraseQuery, PrefixQuery 等.
    - 其中TermQuery是最基本的查询类型。

(4) Hits 类.
     - 是存放有序搜索结果之争的简单容器。

参考: Lucene in Action , 并对Lucene/Nutch 的开发者 Doug Cutting 致以崇高的敬意。
参考: Lucene Website Crawler and Indexer (作者: stlane ) 并参考其博客。