Lucene（1）

简介

概述

Lucene总的来说是：一个高效的，可扩展的，全文检索库。全部用Java实现，无须配置。仅支持纯文本文件的索引(Indexing)和搜索(Search)。不负责由其他格式的文件抽取纯文本文件，或从网络中抓取文件的过程。

全文检索

我们生活中的数据总体分为两种：结构化数据 和非结构化数据 。

结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。
非结构化数据： 指不定长或无固定格式的数据，如邮件，word文档等。
当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。

非结构化数据又一种叫法叫全文数据。
这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search) 。

Lucene流程

说明Lucene 是有索引和搜索的两个过程，包含索引创建，索引，搜索三个要点。

让我们更细一些看Lucene的各组件：

1. 被索引的文档用Document对象表示。
2. IndexWriter 通过函数addDocument 将文档添加到索引中，实现创建索引的过程。
3. Lucene 的索引是应用反向索引。
4. 当用户有请求时，Query 代表用户的查询语句。
5. IndexSearcher 通过函数search 搜索Lucene Index 。
6. IndexSearcher 计算term weight 和score 并且将结果返回给用户。
   返回给用户的文档集合用TopDocsCollector 表示。

实现

package test2;import org.apache.lucene.analysis.Analyzer;  import org.apache.lucene.analysis.standard.StandardAnalyzer;  import org.apache.lucene.document.Document;  import org.apache.lucene.document.Field;  import org.apache.lucene.document.StringField;  import org.apache.lucene.document.TextField;  import org.apache.lucene.index.DirectoryReader;  import org.apache.lucene.index.IndexReader;  import org.apache.lucene.index.IndexWriter;  import org.apache.lucene.index.IndexWriterConfig;  import org.apache.lucene.queryparser.classic.ParseException;  import org.apache.lucene.queryparser.classic.QueryParser;  import org.apache.lucene.search.IndexSearcher;  import org.apache.lucene.search.Query;  import org.apache.lucene.search.ScoreDoc;  import org.apache.lucene.search.TopScoreDocCollector;  import org.apache.lucene.store.Directory;  import org.apache.lucene.store.RAMDirectory;  import org.apache.lucene.util.Version;  import java.io.IOException;  public class LuceneTest {    public static void main(String[] args) throws IOException, ParseException {         Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_47);          //将索引存储到内存中          Directory directory = new RAMDirectory();          //如下想把索引存储到硬盘上，使用下面的代码代替          //Directory directory = FSDirectory.open(Paths.get("/tmp/testindex"));          //写入索引库          IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_47,analyzer);          IndexWriter iwriter = new IndexWriter(directory, config);          String[] texts = new String[]{              "Mybatis分页插件 - 示例",              "Mybatis 贴吧问答 第一期",              "Mybatis 示例之 复杂(complex)属性(property)",              "Mybatis极其(最)简(好)单(用)的一个分页插件",              "Mybatis 的Log4j日志输出问题 - 以及有关日志的所有问题",              "Mybatis 示例之 foreach （下）",              "Mybatis 示例之 foreach （上）",              "Mybatis 示例之 SelectKey",              "Mybatis 示例之 Association (2)",              "Mybatis 示例之 Association"          };          for (String text : texts) {              Document doc = new Document();             // doc.add(new Field("fieldname", text, TextField.TYPE_STORED));              doc.add(new TextField("title", text, Field.Store.YES));                doc.add(new StringField("isbn", ""+String.valueOf(Math.random()), Field.Store.YES));              iwriter.addDocument(doc);          }          iwriter.close();          //读取索引并查询          DirectoryReader reader = DirectoryReader.open(directory);          IndexSearcher isearcher = new IndexSearcher(reader);          //解析一个简单的查询          QueryParser parser = new QueryParser(Version.LUCENE_47,"title", analyzer);          Query query = parser.parse("foreach");          ScoreDoc[] hits = isearcher.search(query, 1000).scoreDocs;          //迭代输出结果          for (int i = 0; i < hits.length; i++) {              Document hitDoc = isearcher.doc(hits[i].doc);              System.out.println(hitDoc.get("title"));              System.out.println(hitDoc.get("isbn"));          }          reader.close();          directory.close();    }  }  

Mybatis 示例之 foreach （下）0.936427711899241Mybatis 示例之 foreach （上）0.025906583963816954