梳理es中的几个基本概念

来源:互联网 发布:淘宝买airpods靠谱吗 编辑:程序博客网 时间:2024/05/16 07:33

全文搜索引擎会用某种算法对要建索引的文档进行分析

从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器),

这些Token会被进一步处理, 比如转成小写等, 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)。

文档中包含了几个这样的Term被称为Frequency(词频)。

 引擎会建立Term和原文档的Inverted Index(倒排索引), 这样就能根据Term很快到找到源文档了。

 文本被Tokenizer处理前可能要做一些预处理, 比如去掉里面的HTML标记, 这些处理的算法被称为Character Filter(字符过滤器)。

这整个的分析算法被称为Analyzer(分析器)。
0 0