Lucene深入学习（7）Lucene的索引过程

摘要： 索引是Lucene最重要的过程，通过IndexWriter的addDocument()方法可以加入各种Document。本节将以addDocument为入口，探索Lucene的索引过程。本次代码示例基于Lucene 6.2.1.

索引调用方法

IndexWriter的 addDocument

public long addDocument(Iterable<? extends IndexableField> doc) {    return updateDocument(null, doc);  }

该方法并没有实际的逻辑，需要注意的是它返回的是一个sequence number。

IndexWriter的 updateDocument

 public long updateDocument(Term term, Iterable<? extends IndexableField> doc){ long seqNo = docWriter.updateDocument(doc, analyzer, term); }

该方法在更新操作时，先删除包含term的doc再添加新的doc。这个操作是原子性的，也就是同一个reader在相同的索引上执行。
这里的doc是传入的document，analyzer是在IndexWriterConfig中设置的analyzer，也可以不设置，默认是StandardAnalyzer。

DocumentsWriter的 updateDocument

long updateDocument(final Iterable<? extends IndexableField> doc, final Analyzer analyzer, final Term delTerm)){    final DocumentsWriterPerThread dwpt = perThread.dwpt;    seqNo = dwpt.updateDocument(docs, analyzer, delTerm);}

该方法实现了对锁的处理，正真添加的文档的方法继续调用。

DocumentsWriterPerThread的 updateDocument

public long updateDocument(Iterable<? extends IndexableField> doc, Analyzer analyzer, Term delTerm){    docState.doc = doc;    docState.analyzer = analyzer;    consumer.processDocument();}

这里使用了静态内部类DocState传值，处理Doc的事情交给了DocConsumer。

DocConsumer的 processDocument

public void processDocument(){    int fieldCount = 0;    long fieldGen = nextFieldGen++;    for (IndexableField field : docState.doc) {        fieldCount = processField(field, fieldGen, fieldCount);    }}

DocConsumer是一个接口，默认使用到了它的实现类DefaultIndexingChain。这里的fieldCount表示需要索引的field的个数，fieldGen表示该方法的调用次数（每调用一次，+1）。

DefaultIndexingChain的 processField

private int processField(IndexableField field, long fieldGen, int fieldCount){String fieldName = field.name();    IndexableFieldType fieldType = field.fieldType();    PerField fp = null;    if (fieldType.indexOptions() == null) {      throw new NullPointerException("IndexOptions must not be null (field: \"" + field.name() + "\")");    }    // Invert indexed fields:    if (fieldType.indexOptions() != IndexOptions.NONE) {      // if the field omits norms, the boost cannot be indexed.      if (fieldType.omitNorms() && field.boost() != 1.0f) {        throw new UnsupportedOperationException("You cannot set an index-time boost: norms are omitted for field '" + field.name() + "'");      }      fp = getOrAddField(fieldName, fieldType, true);      boolean first = fp.fieldGen != fieldGen;      fp.invert(field, first);      if (first) {        fields[fieldCount++] = fp;        fp.fieldGen = fieldGen;      }    } else {      verifyUnIndexedFieldType(fieldName, fieldType);    }    // Add stored fields:    if (fieldType.stored()) {      if (fp == null) {        fp = getOrAddField(fieldName, fieldType, false);      }      if (fieldType.stored()) {        try {          storedFieldsWriter.writeField(fp.fieldInfo, field);        } catch (Throwable th) {          throw AbortingException.wrap(th);        }      }    }    DocValuesType dvType = fieldType.docValuesType();    if (dvType == null) {      throw new NullPointerException("docValuesType must not be null (field: \"" + fieldName + "\")");    }    if (dvType != DocValuesType.NONE) {      if (fp == null) {        fp = getOrAddField(fieldName, fieldType, false);      }      indexDocValue(fp, dvType, field);    }    if (fieldType.pointDimensionCount() != 0) {      if (fp == null) {        fp = getOrAddField(fieldName, fieldType, false);      }      indexPoint(fp, field);    }    return fieldCount;}

这里的IndexableField代表索引时一个的filed。在IndexWriter中，你可以认为它就是一个document的内部表示形式。IndexableField是一个接口，它含有几个重要的属性：field-name, field-type, filed-value。
processField的代码不长，包含了索引的核心逻辑，因此我没有删减代码。可以看到几个关键参数fieldGen和fieldCount是如何操作的。
最终的写操作调用了writeField。

StoredFieldsWriter的 writeField

public void writeField(FieldInfo info, IndexableField field){    if(long)    bufferedDocs.writeVLong(infoAndBits);    if(int)     bufferedDocs.writeVInt(bytes.length);    if(String)  bufferedDocs.writeString(string);....}

这里的写操作主要是判断filed的类型，然后交给具体的实现逻辑GrowableByteArrayDataOutput

DataOutput的 writeXXX

public void writeByte(byte b) {    if (length >= bytes.length) {      bytes = ArrayUtil.grow(bytes);    }    bytes[length++] = b;  }

这里列出的是最简单的writeByte()方法，其他方法都由该方法扩展而来。

public void writeLong(long i) throws IOException {    writeInt((int) (i >> 32));    writeInt((int) i);  }

到这里，整个的索引过程就结束了。