基于全文检索引擎Lucene的一个小例子

 

Lucene是一个基于JAVA的全文搜索引擎，现在很多电子商务网站搜索功能使用了lucene，lucene的使用主要分为建立索引和在索引库搜索

Lucene包括下面主要的几个部分：

l   文档（document） - 一个网页、一个Word文档、一篇文章、一条数据库记录等等都可以看成是一个document对象

l   语言分析器（analysis） - 即分词器，把内容（document）按照某种规则分出里面包含的词语来，以便能够按照词语建立索引。Lucene中文分词器，比较有名的包括：paoding，imdict,mmseg4j,ik

l   索引（index） - 建立索引

l   搜索（search） - 根据索引进行搜索

l   查询分析器（queryParser） - 对查询字符串进行分析，比如：”Java – JavaME”

l   存储（store）- 主要集中于索引的存放，比如生成的索引既可以直接放在内存里，也可以放到磁盘的某个目录下面。

 

下面是基于Lucene的一个小例子：用于入门。本例并不支持中文的搜索

首先是建立索引：

        

       public void testBuildIndex() throws Exception{

           //指定索引文件存放位置

           File file  = new File("E:\\lucene\\buildIndex");

           //要加入索引库的文件

           File file2  = new File("E:\\lucene\\LuceneDemoSrc\\src\\cn\\itcast\\lucene");

           //指定索引文件存放的目录

           Directory dir = new SimpleFSDirectory(file);

      

           //指定分词器

           Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30);

   

           //创建IndexWriter对象

           /**

            * 参数1：指定文件索引存放位置

            * 参数2：指定分词器

            * 参数3：优化索引字段最大长度

            */

           IndexWriter indexWriter = new IndexWriter(dir,analyzer,MaxFieldLength.LIMITED);

   

          

              indexDocs(file2,indexWriter);

              //作一些优化

              indexWriter.optimize();

              //关闭IndexWriter对象

              indexWriter.close();

       }

      

      

       private void indexDocs(File f,IndexWriter indexWriter)throws Exception{

          

           Collection<File> files = FileUtils.listFiles(f,new String[]{"java"},true);

           for(File file:files){

              //每个文件创建一个Document对象

              Document doc =  createDocument(file);

             

              //加入Document

              indexWriter.addDocument(doc);

           }

          

      

       }

 

           public Document createDocument(File f)throws FileNotFoundException{

          

              SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd");

             

              //创建文档对象

              Document doc = new Document();

             

              //搜索f目录下的所有包含java的文件

              /**

               * 第一个参数：指定一个搜索目录

               *第二个参数：指定文件名包含的字符

               *第三个参数：为true表示搜索子目录

               */

          

             

              //创建一个索引字段，

              /**

               * 第一个参数:表示索引字段名

               * 第二个参数:表示指定要搜索的字符串

               * 第三个参数：表示是否添加到索引文件中

               * 第四个参数:表示是否作为索引字段

               */

                  Field field = new Field("path",f.getPath(),Field.Store.YES,Field.Index.ANALYZED);

                 

doc.add(field);

                  FileReader fileReader = new FileReader(f);

                 

                  /**

                   * 将文件内容作为索引

                   * 默认：

                   * 1、不添加到索引文件

                   * 2、将此字段作为索引字段

                   */

                  Field  field2 = new Field("content",fileReader);

                 

                  doc.add(field2);

                        

                  Date date = new Date(f.lastModified());

                  //将最后更新时间作为索引字段

                  Field  field3 = new Field("lastUpdateTime",simpleDateFormat.format(date),Field.Store.YES,Field.Index.ANALYZED);

                  doc.add(field3);

          

             

             

              return doc;

           }

          

 

然后是在索引库中进行搜索最后得到结果：

 

public void testSearchIndex() throws IOException, ParseException{

              File indexDir =new File("E:\\lucene\\buildIndex");

              //指定分词器

              Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30);

              //指定搜索的目录

              Directory dir = FSDirectory.open(indexDir);

              //luncene搜索功能接口

              /**

               * 参数1：指定搜索的索引文件存放的目录

               * 参数2：为true表示不允许修改，即只读

               */

              IndexSearcher  indexSrarcher = new IndexSearcher(dir,true);

              //根据指定的字段查询

              /**

               * 参数一：指定luncene版本

               * 参数二：表示指定查询的字段

               * 参数三：表示指定分词器

               */

              QueryParser parser = new QueryParser(Version.LUCENE_30,"path", analyzer);

              //输入查询的字符串

              Query query = parser.parse("lucene");

           //搜索到得记录数

           ScoreDoc[] hits = indexSrarcher.search(query, null, 1000).scoreDocs;

           System.out.println("查询到得记录数为【"+hits.length+"】");

          

           for(ScoreDoc scoreDoc:hits){

              //通过文档标识搜索

              Document doc =indexSrarcher.doc(scoreDoc.doc);

              System.out.println("标题为-【"+doc.get("path")+"】最后更新时间为【"+doc.get("lastUpdateTime")+"】");

             

              System.out.println("内容为-【"+doc.get("content"));

             

           }

          

          

           }