Elasticsearch(分析和分析器)

分析和分析器

分析（analysis）是这样一个过程：

    *首先，表征化一个文本块适用于倒排索引单独的词(term)
    *然后标准化这些词为标准形式，提高它们的“可搜索性”和“查全率”
这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个包里：

字符过滤器：

首先字符串经过字符过滤器(character filter),它们的工作是在表征化前处理字符串。字符过滤器能够去除HTML标记，或者转换"&"为"and"

分词器

下一步，分词器(tokenizer)被表征化(断词)为独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开（注：中文不适用）。

表征过滤

最后，每个词通过所有表征过滤(token filters),它可以修改词(例如将“Quick”转为小写),去掉词(例如停用词像“a”、“and”、“the”等等)，或者增加词(例如同义词像“jump”和“leap”)

Elasticsearch提供很多开箱即用的字符过滤器，分词器和表征过滤器。

内建的分析器

不过，Elasticsearch还附带了一些预装的分析器，你可以直接使用它们。下面我们列出了最重要的几个分析器，来演示这个字符串分词的表现差异：
set the shape to semi-transparent by calling set_trans(5)

标准分析器

标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳的选择。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生结果为：
set，the，shape，to，semi，transparent，by，calling，set_trans,5

简单分析器

简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：
set，the，shape，tosemi，transport，by，calling，set，trans

空格分析器

空格分析器根据空格切分文本。它不转化小写。产生结果为：
set，the，shape，to，semi-transparent，by，calling，set_trans(5)

语言分析器

特定语言分析器适用于很多语言。他们能够考虑到特定语言的特性。例如，english分析器自带一套英语停用词库---像and或the这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，英语单词的主体含义依旧能被理解。

english 分析器将会产生以下结果：
set，shape，semi，transport，call，set_tran,5
注意“transparent”、“calling”和“set_trans”是如何转为词干的。

当分析器被使用

当我们索引(index)一个文档，全文字段会被分析为单独的词来创建倒排索引。不过，当我们在全文段搜索(search)时,我们要让查询字符串经过同样的分析流程处理，以确保这些词在索引中存在。

全文查询我们将在稍后讨论，理解每个字段是如何定义的，这样才可以让它们做正确的事：

    *当你查询全文(full text)字段，查询将用相同的分析器来分析查询字符    串，以产生正确的词列表。
    *当你查询一个确切值(exact value)字段，查询将不分析查询字符串，但是你可以自己指定。

当我们在_all字段中查询2014-09-15，首先分析查询字符串，产生匹配任一词2014、09或15的查询语句，它依旧匹配12个推文，因为他们都包含词2014。
curl -XGET "http://10.139.32.155:9200/_search?q=2014-09-15"

当我们在date字段中查询2014-09-15，它查询一个确切的日期，然后只找到一条推文：
curl -XGET "http://10.139.32.155:9200/_search?q=date:2014-09-15"

当我们在date字段中查询2014没有找到文档，因为没有文档包含那个确切的日期：
curl -XGET "http://10.139.32.155:9200/_search?q=date：2014"

测试分析器

尤其当你是Elasticsearch新手时，对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行，你可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器，被分析的文本作为请求体：
curl -XGET "http://10.139.32.155:9200/_analyze?analyzer=standard" -d "Text to analyze"

结果如下:
{
    "tokens": [
        {
            "token": "text",
            "start_offset": 0,
            "end_offset": 4,
            "type": "<ALPHANUM>",
            "position": 1
        },
        {
            "token": "to",
            "start_offset": 5,
            "end_offset": 7,
            "type": "<ALPHANUM>",
            "position": 2
        },
        {
            "token": "analyze",
            "start_offset": 8,
            "end_offset": 15,
            "type": "<ALPHANUM>",
            "position": 3
        }
    ]
}

token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offset和end_offset表示词在原文本中占据的位置。

指定分析器

当Elasticsearch在你的文档中探测到一个新的字符串字段，它将自动设置它为全文string字段并用standard分析器分析。

你不可能总是想要这样做。也许你想使用一个更适合这个数据的语言分析器。或者，你只想把字符串当作一个普通的字段--不做任何分析，只存确切值，就像字符串类型的用户ID或者内部状态字段或者标签。

为了达到这种效果，我们必须通过映射(mapping)人工设置这些字段。