Lucene对pdf、word、html等文件的处理

Lucene在创建索引的过程中，原生只支持纯文本格式（但是你扫描的过程中，如果你不设定文件格式，会发现不管啥文件，他都会去啃两口）

=====PDF

用到的库：PDFBox / XPdf

PDFBox是一个在java环境中对pdf文件进行解析处理的开源软件，同时它也提供了一个丰富的类库支持对pdf文件的操作。PDFBox为使 用Lucene的开发者专门提供了LucenePDFDocument类，它的static方法getDocument（ps:该方法被重载三次）能够直 接返回一个Lucene的Document类型结果。所以在为一个pdf文件（例子中为File类型实例pdfFile）创建索引时只要写下如下语句就可 以了：

Document document = LucenePDFDocument.getDocument(file);

该方法传入参数file是一个pdf文件，返回一个lucene的document对象。

PDFBox 提供的下载包是0.7.3版本，这个版本里面有上面那个函数的所在的jar。最新的pdfbox在apache的官网下载，里面已经没有上面所要用到的jar包。

=====WORD

用到的库：tm-extractors-0.4

主要用到了WordExtractor类的成员方法extractor，该方法用来抽取word文件的内容，并返回。

需要自己构建getDocument函数，来构建lucene的document对象。

参考如下代码：

public   class  LuceneDOCDocument  {        public   static  Document getDocument(File doc) {         String docPath  =  doc.getAbsolutePath();         String title  =  doc.getName();         InputStream inputStream  =   null ;         Reader contents  =   null ;         Document document  =   new  Document();          try           {             inputStream  =   new  FileInputStream(doc);         }           catch  (FileNotFoundException e)          {             e.printStackTrace();         }          WordExtractor extractor  =   new  WordExtractor();          try {             contents  =   new  StringReader(extractor.extractText(inputStream));         }           catch (Exception e) {             e.printStackTrace();         }               document.add( new  Field( " title " , title, Field.Store.YES, Field.Index.TOKENIZED));         document.add( new  Field( " contents " , contents));         document.add( new  Field( " path " , docPath, Field.Store.YES, Field.Index.NO));          return  document;     }   }

=====HMTL/XML等文件

HTML，XML等文件虽然是纯文本形式存在，但是由于其内部是有一些标签的，而lucene在读取这些文件的时候，会将标签也当做内容读取，所以在处理这些文件的时候需要对其进行一个去标签操作。

用到的库：htmlparser

参考如下代码：

public   class  LuceneHTMLDocument {       public   static  Document getDocument(File html) {         String htmlPath  =  html.getAbsolutePath();         String text  =   "" ;         Parser parser  =   null ;          try {             parser  =   new  Parser(htmlPath);         }           catch (ParserException e) {             e.printStackTrace();         }           try {             parser.setEncoding( " UTF-8 " );         }           catch (ParserException e) {             e.printStackTrace();         }          HtmlPage visitor  =   new  HtmlPage(parser);          try {             parser.visitAllNodesWith(visitor);         }           catch (ParserException e) {             e.printStackTrace();         }          NodeList nodes  =  visitor.getBody();          int  size  =  nodes.size();          for ( int  i = 0 ;i < size;i ++ ) {             Node node  =  nodes.elementAt(i);             text  +=  node.toPlainTextString();         }          String title  =  visitor.getTitle();         Reader contents  =   new  StringReader (text);         Document document  =   new  Document();         document.add( new  Field( " title " , title, Field.Store.YES, Field.Index.TOKENIZED));         document.add( new  Field( " contents " , contents));         document.add( new  Field( " path " , htmlPath, Field.Store.YES, Field.Index.NO));          return  document;     }   }

小工具：索引文件查看器Luke。