ElasticSearch源码解析（二）：ES的CharFilter、Tokenizer、TokenizerFilter

来源：互联网发布：凶宅美人头知乎编辑：程序博客网时间：2024/05/19 01:13

CharFilter

elasticsearch的CharFilter一共有2种分别是：HTMLStripCharFilter、MappingCharFilter。

HTMLStripCharFilter

这是用来去除html标签的filter，主要的逻辑在read方法中：

public int read() throws IOException {    //输入字符的字节是否已读完    if (outputSegment.isRead()) {      if (zzAtEOF) {        return -1;      }      // 如果已读完则返回当前字符的下一个字符      int ch = nextChar();      ++outputCharCount;      return ch;    }    //如果这个textsegment还没有读完则返回已读部分的下一个字符    int ch = outputSegment.nextChar();    ++outputCharCount;    return ch;  }

nextChar()函数里面是个包含了一个有限自动机。如果不懂什么是有限自动机的，有限自动机的概念请参考编译原理的词法分析来了解。自动机的状态图我没有深入研究过，而且代码冗长也比较晦涩这里就不做介绍了。

MappingCharFilter

它主要是用来做字符串匹配替换的，可以通过NormalizeCharMap.Builder的addPair来添加替换规则。

Tokenizer

一共有10种tokenizer，用户需要根据搜索内容的语言特性做出选择，一般中文分词使用第三方的分词器比如ik analyzer，我们这里仅以其中一个举例说明。

StandardTokenizer是es默认的tokenizer，使用的是字典匹配类型的分词算法，它依据的是unicode编码，比较适应欧洲语言，它同样使用了一个有限自动机来实现字符串前缀匹配算法，将不同的词映射为以下14种类型：

public static final String [] TOKEN_TYPES = new String [] {    "<ALPHANUM>",    "<APOSTROPHE>",    "<ACRONYM>",    "<COMPANY>",    "<EMAIL>",    "<HOST>",    "<NUM>",    "<CJ>",    "<ACRONYM_DEP>",    "<SOUTHEAST_ASIAN>",    "<IDEOGRAPHIC>",    "<HIRAGANA>",    "<KATAKANA>",    "<HANGUL>"  };

TokenFilter

一共有三种TokenFilter，也是使用同样的字符串前缀匹配算法来实现功能，这里以ClassicFilter为例说明，它主要用来去除像‘s这样的字母或者首字母缩略词中的点符号。

和tokenizer一样同样有个incrementToken方法：

public final boolean incrementToken() throws java.io.IOException {    if (!input.incrementToken()) {      return false;    }    final char[] buffer = termAtt.buffer();    final int bufferLength = termAtt.length();    final String type = typeAtt.type();    if (type == APOSTROPHE_TYPE &&      // remove 's        bufferLength >= 2 &&        buffer[bufferLength-2] == '\'' &&        (buffer[bufferLength-1] == 's' || buffer[bufferLength-1] == 'S')) {      // Strip last 2 characters off      termAtt.setLength(bufferLength - 2);    } else if (type == ACRONYM_TYPE) {      // remove dots      int upto = 0;      for(int i=0;i<bufferLength;i++) {        char c = buffer[i];        if (c != '.')          buffer[upto++] = c;      }      termAtt.setLength(upto);    }    return true;  }

1 0