lucene学习笔记3-索引-创建域选项

分词存储设置范围最佳实践：

分词索引：Field.Index.*

存储：Field.Store.YES/NO

适用范围

NOT_ANALYZED_NOT_NORMS

YES

标识符(主键、文件名)，电话号码，身份证号，姓名，日期

ANALYZED

YES

文档标题和摘要

ANALYZED

NO

文档正文

NO

YES

文档类型，数据库主键(不进行索引)

NOT_ANALYZED

NO

隐藏关键字

 

import java.io.File;import java.io.IOException;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.document.Document;import org.apache.lucene.document.Field;import org.apache.lucene.index.CorruptIndexException;import org.apache.lucene.index.IndexReader;import org.apache.lucene.index.IndexWriter;import org.apache.lucene.index.IndexWriterConfig;import org.apache.lucene.store.Directory;import org.apache.lucene.store.FSDirectory;import org.apache.lucene.util.Version;public class IndexUtil{    private String[] ids = { "1", "2", "3", "4", "5", "6" };    private String[] emails = { "b1", "b2", "b3", "b4", "b5", "b6" };    private String[] content = { "b1 aaaa this is hello ",                    "b2 i kill to you ma", "b3 cc wo are you from hold",                    "b4 Index Reader", "b5 r RUNTIME DATA AREA",                    "b6 java lang ClassLoader" };    private int[] attachs = { 2, 3, 1, 4, 5, 5 };    private String[] names = { "wc1", "wc2", "wc3", "wc4", "wc5", "wc6" };    private Directory directory = null;    public IndexUtil()    {        try        {            // 设置索引目录            directory = FSDirectory.open(new File("D:\\workspace\\helloLucene\\IndexUtil\\"));        }        catch (IOException e)        {            // TODO Auto-generated catch            // block            e.printStackTrace();        }    }    public void index()    {        IndexWriter writer = null;        try        {            writer = new IndexWriter(directory,                                     new IndexWriterConfig(Version.LUCENE_35,                                                           new StandardAnalyzer(Version.LUCENE_35)));            Document doc = null;            for (int i = 0; i < ids.length; i++)            {                doc = new Document();                // id需要存储不分词不加权                doc.add(new Field("id",                                  ids[i],                                  Field.Store.YES,                                  Field.Index.NOT_ANALYZED_NO_NORMS));                // email需要存储不分词，希望区分公司邮件为重点-加权重                doc.add(new Field("email",                                  emails[i],                                  Field.Store.YES,                                  Field.Index.NOT_ANALYZED));                // content不存储分词                doc.add(new Field("content",                                  content[i],                                  Field.Store.NO,                                  Field.Index.ANALYZED));                // name需要存储不分词不加权                doc.add(new Field("name",                                  names[i],                                  Field.Store.YES,                                  Field.Index.NOT_ANALYZED_NO_NORMS));                writer.addDocument(doc);            }        }        catch (Exception e)        {            // TODO Auto-generated catch            // block            e.printStackTrace();        }        finally        {            try            {                if (writer != null)                {                    writer.close();                }            }            catch (Exception e)            {                e.printStackTrace();            }        }    }    public void query() {        try {            IndexReader reader = IndexReader.open(directory);            //通过reader可以有效的获取到文档的数量            System.out.println("返回索引中的Document的数 numDocs:"+reader.numDocs());            System.out.println("下一个Document对象的编号 maxDocs:"+reader.maxDoc());            System.out.println("deleteDocs:"+reader.numDeletedDocs());            reader.close();        } catch (CorruptIndexException e) {            e.printStackTrace();        } catch (IOException e) {            e.printStackTrace();        }    }        public static void main(String[] args)    {        IndexUtil iu = new IndexUtil();        iu.index();        iu.query();        System.out.println("end...");    }}

 

Lucene使用文件扩展名标识不同的索引文件。如.fnm文件存储域Fields名称及其属性，.fdt存储文档各项域数据，.fdx存储文档在fdt中的偏移位置即其索引文件，.frq存储文档中term位置数 据，.tii文件存储term字典，.tis文件存储term频率数据，.prx存储term接近度数据，.nrm存储调节因子数据，另外 segments_X文件存储当前最新索引片段的信息，其中X为其最新修改版本，segments.gen存储当前版本即X值。 

 

它们的关系图则如下所示：

FNM 保存Field域信息，代码中定义一致。

第0x05字节表示存储了4个域

FDX 保存Field域索引，保存了每个document的词域数据在.fdt的起始位置（每个位置数据用Uint64，8个字节）

如图：第0x03字节表示？？，第0个document的词域数据信息起始于.fdt的第0x04字节，第1个document的词域数据信息起始于.fdt的第0x14字节。

FDT 保存Field域数据，按document依次存储词域数据。每个词域数据信息包括该词域序号（FieldNum）、词域位信息（Bits）和词域数据。词域数据又分字符串和二进制2种类型。字符串数据包含字符个数（非字节数）和字符串内容，字符串内容是经过utf-8编码的。

如图：0x04字节表示该document有3个词域，第0x05-0x09字节表示第0个词域数据信息，其中第0x05、0x09字节表示词域序号，即FieldNum；第0x05字节表示词域位信息，即Bits；第0x07、0x0b表示词域数据字符长度，即1、2个；第0x08字节就是词域数据，即“1”，第0x0C、0x0D字节就是词域数据，即“b1”。。

 

 FRQ 评分和排序，词语所在文档的文档列表(docID)和该词语出现在文档中的频率信息。
 TII 词典，索引文件。保存了tis中每隔IndexInterval个词的位置信息，这是为了加快对词典文件tii中词的查找速度
 TIS 词典数据文件。存放索引表中Dictionary的所有Term的信息