基于lucene2.2.0的简单索引建立与检索

      这几天通过阅读《Lucene IN ACTION》中文版，正式开始了对搜索引擎的学习，虽然之前和队友齐力打造了一款校园搜索引擎，但由于团队分工及个人水平，并未涉及具体核心搜索的开发，出于寻找实习及长远发展的需要，痛下苦心，回过头来从头做起，开始学习Lucene，看了几天书后，决定小试身手，写了最简单的索引建立及检索的DEMO，殊不知，万事开头难呐，这个小demo居然差点要掉小命（夸张了一点，嘿嘿）。将书上的代码原封不动的搬到电脑中后，一经编译，错误尽达40个之多，呕心沥血改到5个后，终于无法继续，请教室友，方知包含的lucene包版本不同。赶紧改掉，果不其然，编译是没问题了，然后建立索引，异常的顺利，接着便测试检索，果不其然顺利的又出问题了，居然检索不到，明明索引已经建立成功，居然不能不能检索，这是何等怪事。几个小时过去了……正当万念俱灰之时，伟大的在室友站了出来（这哥们儿很牛的）在他的帮助下，才发现居然是没关掉IndexWriter的对象（痛心疾首啊，本来是写了的，后来才记起是中间整理代码给误删了，喷血……）。好了，不多说，还是把代码贴出来，做个纪念。

索引建立代码。LuceneDemo.java

package lucenedemo;import org.apache.lucene.index.IndexWriter;import org.apache.lucene.document.Document;import org.apache.lucene.document.Field;import org.apache.lucene.store.Directory;import org.apache.lucene.store.FSDirectory;import java.io.IOException;import java.io.File;import java.io.FileReader;import java.io.BufferedReader;import java.util.Date;import org.mira.lucene.analysis.IK_CAnalyzer;public class LuceneDemo { public static void main(String[] args) throws Exception{ //File indexDir=new File("d://index"); String indexDir="d://index"; File dataDir=new File("d://lucene"); long start=new Date().getTime(); if(!dataDir.exists()||!dataDir.isDirectory()){ throw new IOException(dataDir+"does not exist or is not a dircetory"); } //建立Directory对象，作为IndexWriter初始化对象的参数，作用为索引存放位置 Directory fsDirectory = FSDirectory.getDirectory(indexDir); //IndexWriter对象用于建立索引，第一个参数为索引建立后存放位置，第二个为分词器，这里用的是中文分词器。 //第三个参数为真时，将创建新的索引（如果原来已有将覆盖原来的） //为假则在原来的基础上追加索引 IndexWriter writer=new IndexWriter(fsDirectory , new IK_CAnalyzer() , true); //当setUseCompoundFile（）参数为真时，在创建索引库时，会合并多个 Segments 文件到一个.cfs 中。 //此方式有助于减少索引文件数量，减少同时打开的文件数量 writer.setUseCompoundFile(true); //建立File数组 File[] files=dataDir.listFiles(); //遍历所有的文件，如果是文件夹，则递归进入，遇到文本文件就建立索引 for(int i=0;i<files.length;i++){ File f=files[i]; if(f.isDirectory()){ //递归函数，找到文本文件 indexDirectory(writer,f); } else if(f.getName().endsWith(".txt")){ //索引建立函数 indexFile(writer,f); } } long end=new Date().getTime(); System.out.println((end-start)+"milliseconds"); //将所有段合并成新段，优化索引 writer.optimize(); fsDirectory.close(); //一定要关闭，不关闭就无法检索，当初就是没关这个，能建立索引，但检索不到信息。 //搞了几个小时都不晓得为什么。铭刻在心。 writer.close(); } //递归函数，找到文本文件 private static void indexDirectory(IndexWriter Writer,File dir) throws IOException{ File[] files=dir.listFiles(); for(int i=0;i<files.length;i++){ File f=files[i]; if(f.isDirectory()){ indexDirectory(Writer,f); } else if(f.getName().endsWith(".txt")){ indexFile(Writer,f); } } } //索引建立函数 private static void indexFile(IndexWriter Writer,File f) throws IOException{ if(f.isHidden()||!f.exists()||!f.canRead()){ return; } System.out.println("Indexing "+f.getCanonicalPath()); //创建文档（Document）对象，lucene的索引由文档组成，而文档由很多域（Field）组成 Document doc =new Document(); //获取文本文档内容 StringBuffer content=new StringBuffer(""); String con=""; //用于读文本文档内容 FileReader fs = new FileReader(f); BufferedReader br = new BufferedReader(fs); while ( (con=br.readLine()) != null) { content.append(con); //System.out.println(con); } //JOptionPane.showMessageDialog(null,f.getName()); //将名为"contents"的域添加到文档对象doc中，content.toString()为内容，并且不需要存储文本本身 //但需要索引呢 doc.add(new Field("contents", content.toString(), Field.Store.NO, Field.Index.TOKENIZED)); doc.add(new Field("filename", f.getName(), Field.Store.YES, Field.Index.TOKENIZED)); try{ //利用IndexWriter对象将doc写入索引. Writer.addDocument(doc); } catch (IOException e) { e.printStackTrace(); } fs.close(); br.close(); //清空content content.delete(0, content.length()); }}

检索代码。LuceneSearch.java

package lucenedemo;import java.io.File;import org.apache.lucene.store.FSDirectory;//import org.apache.lucene.index.Term;import org.apache.lucene.search.*;//import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.queryParser.QueryParser;import org.mira.lucene.analysis.IK_CAnalyzer;public class LuceneSearch { public static void main(String arg[]) throws Exception{//所有关键字 String keyWords="增加换肤菜单"; //索引文件位置 File indexDir=new File("d://index"); if(!indexDir.exists()){ System.out.println("目录不存在!"); return; } //建立FSDirectory对象，该对象表示索引存在于磁盘中（而非内存） FSDirectory directory = FSDirectory.getDirectory(indexDir); //IndexSearcher对象用于检索，参数为索引文件位置 IndexSearcher searcher = new IndexSearcher(directory); //QueryParser对象。表示在contents域中搜索，且用IK_CAnalyzer对关键字分词 QueryParser queryParser = new QueryParser("contents", new IK_CAnalyzer()); //QueryParser类的parse返回一个Query对象 Query query = queryParser.parse(keyWords); //调用IndexSearcher的search方法，该方法以Query对象作为参数. //并将结果以Hits对象的形式返回（Hits对象只存放搜索结果的引用） //hits有四个方法。length()集合中文档数量 //doc(n)排名第n的Document实例 //id(n)排名第n的DocumentID //score(n)排名第n标准分值 Hits hits = searcher.search(query); System.out.println("共有"+searcher.maxDoc()+"条索引，命中"+hits.length()+"条"); for(int i=0;i<hits.length();i++){ int DocId = hits.id(i); String Docname = hits.doc(i).get("filename"); System.out.println(DocId+":"+Docname); } searcher.close(); directory.close(); }}