ElasticSearch核心基础之索引管理

一 索引管理

1.1 创建索引

# 建立索引的时候，我们可以设置主分片和备份分片的数量通过setting字段number_of_shards和number_of_replicas字段设置

# 对于ES的文档而言，一个文档会包含一个或者多个字段，任何字段都要有自己的数据类型，例如string、integer、date等。ElasticSearch中是通过映射来进行字段和数据类型对应的。在默认的情况下ElasticSearch会自动识别字段的数据类型。同时ElasticSearch提供了mappings参数可以显示的进行映射

PUT /web //索引名字

{

      "settings": {

           "number_of_shards": 1,

           "number_of_replicas": 0

      },

      "mappings": {

           "site": { // 类型

                 "properties": {

                      "title": {"type" : "text"},

                      "content":{"type":"string","index":"not_analyzed"}

                 }

           }

      }

}

 

 

1.2 删除索引

DELETE /index

DELETE /index1,index2

DELETE /index*

DELETE /_all

 

1.3 修改索引

PUT /web/_settings

{

      "number_of_replicas": 1

}

1.4 获取索引

GET 127.0.0.1:9200/web

1.5 打开、关闭索引

打开、关闭索引接口允许关闭一个打开的索引或者打开一个关闭的索引。关闭的索引只能显示索引元数据信息，不能进行读写操作

POST 127.0.0.1:9200/web/_open

 

 

二 索引映射管理

有时候我们在字段映射的时候，需要进行一些更加高级的设置，比如索引分词，是否存储等

2.1 增加映射

向索引web添加类型logs，字段message类型为string

PUT /web

{

 "mappings": {

   "logs":{

     "properties": {

       "messages":{"type": "string"}

      }

    }

  }

}

或者

PUT /web/_mapping/logs

{

  "properties": {

     "messages":{"type": "string"}

    }

}

2.2 更新字段映射

一般情况下，一旦字段映射建立，我们不会更新，但有时候可能会，比如新的属性被添加到对象数据类型字段，增加了ignore_above参数

2.3 不同类型之间的冲突

在同一个索引中， 不同类型可能存在相同的名字的字段，所以相同名字的字段中必须有相同的映射。如果视图在这种情况下更新参数，系统将会抛出异常。除非在更新的时候指定update_all_types参数。

比如数据：

PUT 127.0.0.1:9200/web

{

 "mappings": {

   "type1":{

     "properties": {

       "messages":{"type":"string","analyzer": "standard"}

      }

    },

   "type2":{

     "properties": {

       "messages":{"type":"string","analyzer": "standard"}

      }

    }

  }

}

 

现在修改为：

PUT 127.0.0.1:9200/web/_mapping/type1

{

 "properties": {

   "messages":{

     "type": "string",

     "analyzer": "standard",

     "search_analyzer": "whitespace"

    }

  }

}

此时就会报错。然后增加update_all_types，此时就会同时更新type1和type2两个类型。

PUT127.0.0.1:9200/web/_mapping/type1?update_all_types

{

 "properties": {

   "messages":{

     "type": "string",

     "analyzer": "standard",

      "search_analyzer":"whitespace"

    }

  }

}

2.4 获取映射

获取文档映射接口允许通过索引或者索引和类型来搜索：

GET 127.0.0.1:9200/web/_mapping/type1

系统支出同时获取多个索引或者类型，多个索引或者类型以逗号分割

如下：

GET 127.0.0.1:9200/{web,logs}/_mapping/type1

GET 127.0.0.1:9200/web/_mapping/{type1,type2}

也可以使用_all来表示全部索引或者直接省略_all也可以

GET 127.0.0.1:9200/_all/_mapping/type1,type2

GET 127.0.0.1:9200/_mapping/type1,type2

2.5 判断文档索引或者类型是否存在

HEAD http://127.0.0.1:9200/web/book

 

三 索引别名

我们可以为索引创建别名，类似于数据库中的视图

3.1 创建或者删除别名

POST  http://127.0.0.1:9200/_aliases

{

 "actions": [

   {"add": {"index": "web","alias":"site"}},

   {"add": {"index":"article","alias": "book"}}

  ]

}

 

 

POST http://127.0.0.1:9200/_aliases

{

 "actions": [

    {

     "remove": {

       "index": "web",

       "alias": "site"

      }

    }

  ]

}

3.2 过滤索引别名

POST http://127.0.0.1:9200/_aliases

{

 "actions": [

    {

     "add": {

       "index": "web",

       "alias": "site",

       "filter": {

         "term": {

           "user": "nicky"

          }

        }

      }

    }

  ]

}

3.3 别名与路由

通过别名也可以和路由关联，可以避免不必要的碎片操作：

POST http://127.0.0.1:9200/_aliases

{

 "actions": [

    {

     "add": {

       "index": "web","alias":"site","routing": "1"

      }

    }

  ]

}

 

同时我可以指定索引路由和搜索路由，但是索引路由只能指定一个，搜索路由可以指定多个：

POST http://127.0.0.1:9200/_aliases

{

 "actions": [

    {

     "add": {

       "index": "web","alias":"site","search_routing":"2,3","index_routing":"1"

      }

    }

  ]

}

 

我们还可以直接通过请求参数添加别名：

语法：PUT/{index}/_alias/{name}

 

PUT http://127.0.0.1:9200/web/_alias/site

{

 "routing": "1",

 "filter": {

   "term": {

     "name": "tmall"

    }

  }

}

 

3.4 建索引的时候同时指定别名

PUT http://127.0.0.1:9200/web

{

 "mappings": {

   "type":{

     "properties": {"year":{"type":"integer"}}

    }

  },

 "aliases": {

   "current_day": {},

   "2014":{

     "filter": {"term":{"year":2014}}

    }

  }

}

 

3.5 删除别名

DELETE http://127.0.0.1:9200/{index}/_alias/{name}

3.6 查询现有的别名

GET http://127.0.0.1:9200/{index}/_alias/{name}

GET http://127.0.0.1:9200/{index}/_alias/*

 

四 索引配置

在ElasticSearch中索引有很多的配置参数，有些配置是可以在建好索引重新设置的，比如索引的副本数量、索引分词等

4.1 更新索引配置

# 先关闭索引

PUT http://127.0.0.1:9200/web/_closed

# 添加分词器：

PUT http://127.0.0.1:9200/web/_settings

{

 "analysis": {

   "analyzer": {

     "content":{"type":"custom","tokenizer":"whitespace"}

    }

  }

# 在打开索引

PUT http://127.0.0.1:9200/web/_open

4.2 获取配置

索引中包含很多配置参数，可以通过下面命令获取索引的参数配置

GET http://127.0.0.1:9200/web/_settings

GET http://127.0.0.1:9200/web/_settings/name=index.number.*

name=index.number.*： 表示设置将只返回number_of_replicas，number_of_shards两个参数

 

4.3 索引分析

索引分析(analysis)是这样一个过程：首先，把一个文本块分析称一个个单独的词term，为了后面的倒排索引做准备。然后标准化这些词为标准形式，提高他们的可搜索性，这些工作是由分析器analyzers来完成的，分析器analyzers是一个组合，用于将三个功能放到一起：

# 字符集过滤：字符串经过字符过滤器（character filter）处理，他们的工作是在标记化之前处理的字符串

# 分词器：分词器tokenizer被标记化为独立的词。一个简单的分词器可以根据空格或者逗号将单词分开

# 标记过滤器：每一个词通过所有标记过滤器token filters处理，他可以修改词(比如Quick转化为小写，去掉词比如a,an,the等或者增加同义词之类的)

ElasticSearch提供了很多内置的字符过滤器，分词器和标记过滤器。这些可以在组合起来创建自定义的分析器以应对不同的需求

自定义分析器:

请求POSTlocalhost:9200/_anylyze

POST /_analyze

{

 "tokenizer": "keyword",

 "char_filter": ["html_strip"],

 "explain": true,

 "text": "this is a <p>test</P>"

}

表示适用keyword分词器，字符过滤器是html_strip，explain表示获取分析器更多的细节

 

 

五 索引监控

索引监控主要就是涉及到索引的统计信息，碎片信息，恢复的状态和分片的信息，利用这些接口随时监控索引的状态

5.1 索引统计

索引统计接口提供索引中不同内容的统计数据，比如：

GET localhost:9200/_stats

GET localhost:9200/{index1,index2}/_stats

默认返回所有的统计数据，也可以在URL中指定需要返回的特定统计数据

# 获取所有索引的混合和刷新统计数据

GET http://127.0.0.1:9200/_stats/merge,refresh

# 获取名为web索引中类型为type1和type2的文档统计数据

GET http://127.0.0.1:9200/web/_stats/indexing?types=type1,type2

 

另外返回的统计数据在索引级别发生聚合，生成名为primaries和total的聚合。其中primaries仅包含主分片的值，total是主分片和从分片的累计值。

为了获取分片级别的统计数据，需要设置level参数为shards

 

5.2 索引分片

提供Lucene索引所在的分片信息。可以用来提供分片和索引的更多统计信息，可能是优化信息，删除垃圾数据等

GET http://127.0.0.1:9200/web/_segments

GET http://127.0.0.1:9200/web,book/_segments

GET http://127.0.0.1:9200/_segments

5.3 索引恢复

索引恢复接口提供正在进行恢复的索引分片信息。可以报告指定索引或者集群范围的恢复状态

GET http://127.0.0.1:9200/web,book/_recovery

去掉索引名可以查看集群范围的恢复状态：

GET http://127.0.0.1:9200/_recovery?pretty&human

六 状态管理

ElasticSearch中还有一些和索引相关的重要接口需要介绍，这些接口包括清除索引缓存、索引刷新、冲洗索引、合并索引接口

6.1 清除缓存

POST http://127.0.0.1:9200/web/_cache/clear

默认清理所有缓存，你也可以指定query，fielddata,request来清理特定缓存

6.2 索引刷新refresh

刷新接口可以明确的刷新一个或多个索引，使之前最后一次刷新之后的所有操作被执行

POST http://127.0.0.1:9200/web/_refresh

POST http://127.0.0.1:9200/web,book/_refresh

POST http://127.0.0.1:9200/_refresh

 

 

6.3 flush

可以冲洗一个或者多个索引,将数据保存到索引存储并且清除内部事务日志，以此来释放索引的内存空间

POST http://127.0.0.1:9200/_flush

 

6.4 合并索引

合并接口可以强制合并一个或者多个索引。合并分片数量和每一个分片保存的Lucene索引，强制合并可以通过合并减少分片数量。

调用会被阻塞一直到合并完成。如果http连接丢失，请求 后台继续执行，任何新的请求都会被阻塞直到一个强制合并完成

POST http://127.0.0.1:9200/web/_forcemerge

POST http://127.0.0.1:9200/web,book/_forcemerge

POST http://127.0.0.1:9200/_forcemerge

 

 

七 文档管理

7.1 增加文档

就是把一条文档增加到索引中，使他可以被搜索，文档的格式是JSON格式。注意，在ElasticSearch中如果有相同ID的文档存在，则更新此文档

语法：PUT /{index}/{type}/{docId}

返回的信息：

total: 文档被创建的时候，在多少个分片中进行了操作，包括主分片和副本分片

successful: 成功建立索引分片的数量，当创建成功后，成功创建索引分片的数量最少是1

failed: 失败建索引分片的数量

# 自动创建索引

当创建文档的时候，如果索引不存在，则会自动创建索引。自动创建的索引会自动映射每一个字段的类型。自动创建字段类型是非常灵活的，新的字段类型将会自动匹配字段对象的类型。

我们也可以通过配置文件action.auto_create_index为fasle在所有节点禁止配置文件中禁止自动创建索引；通过设置index.mapper.dynamic为false禁止自动映射类型

# 版本号

每一个文档都有一个版本号，版本号的具体值放在创建索引返回值_version中的，通过版本号参数可以达到并发控制的效果,比如更新文档：

PUT /ecommerce/product/4?_version=1&pretty

{

      "desc":"YamahaF335",

      "price":129.19

}

# 操作类型

系统同时支持op_type=create参数强制命令执行创建操作，只有系统中不存在此文档的时候才会创建成功，如果不指定此操作类型，如果存在此文档，则会更新此文档

POST /ecommerce/product/4?op_type=create&pretty

{

      "name":"Yamaha",

      "desc":"YamahaF335 Acoustic Guitar",

      "price":159.99,

      "type":"Acoustic",

      "reviews":250,

      "tags":["Guitar","Acoustic","OnSale"]

}

# 自动创建ID

当创建文档的时候，如果不指定ID,系统会自动创建ID.自动生成的ID是一个不会重复的随机数。但是在5.x系列必须指定id，否则报错例如：

POST /ecommerce/product?op_type=create&pretty

{

      "name":"RoundGlasses",

      "desc":"RoundGlasses #120100",

      "price":59.09,

      "type":"Round",

      "reviews":100,

      "tags":["Round","Glasses"]

}

# 分片选择

我们在创建文档的时候，可以指定该文档散落在哪一个分片上，这个值只可以通过router来控制

POST/ecommerce/product?routing=ecommerce&pretty

{

      "name":"RoundGlasses",

      "desc":"RoundGlasses #120100",

      "price":59.09,

      "type":"Round",

      "reviews":100,

      "tags":["Round","Glasses"]

}

比如上面就是通过routing=ecommerce的散列值来决定落在哪一个分片上

 

7.2 更新删除文档

# 第一种更新方式

判断文档id是否存在，如果存在则更新，不存在则添加

POST /ecommerce/product/1/

{

 "price":45.78

}

# 第二种更新方式，开启动态脚本功能，新版本 默认禁用

如果要使用，需要在elasticsearch.yml中添加如下配置:

script.inline:on

script.indexed:on

script.file:on

 

POST /ecommerce/product/4/_update?pretty

{

 "script": {

   "inline": "ctx._source.price += p",

   "params": {"p":12}

  }

}

7.3 查询文档

GET http://127.0.0.1:9200/ecommerce/product/1

查询操纵都是实时查询，如果不希望实时查询，则可以全局设置action.get.realtime为false

# 我们还可以禁止返回原始数据即_source

GET http://127.0.0.1:9200/ecommerce/product/1? _source=false

# 如果你只想获取source一部分内容，可以使用_source_include或者_source_exclude参数

GET /ecommerce/product/4?_source_exclude=desc,type

GET/ecommerce/product/4?_source_include=name,price,reviews

# 还可以通过fields字段过滤（以前版本）

GET /ecommerce/product/4?fields=name,price,reviews

# 只获取文档内容，不获取额外的信息

GET /ecommerce/product/4/_source

# 查询的时候指定分片

GET /ecommerce/product/4?routing=ecommerce&pretty

# 查询参数

_primary： 在主节点查询

_local: 尽可能在本地节点查询

refresh: 在搜索之前刷新相关的分片可以保证及时查询到，但是这个参数会消耗系统资源，除非有必要，否则不需要设置

GET /ecommerce/product/4? _primary=true&refresh=true

 

7.4 索引词频率

Term Vector(检索词向量)：是Lucene的概念，就是相当于文档的每一列，如title,body这种文本类型的建立词频的多维向量空间，每一个词就是一个维度，这个维度的值就是这个词在这个列中的频率。

在ElasticSearch中，_termvectors返回索引中特定文档字段的统计信息，termvectors在ElasticSearch中是实时分析的，如果不想要实时分析，可以设置realtime参数。默认情况索引词频统计是关闭的，需要在建索引的时候手工打开。

# 设置索引

PUT http://hadoop-all-01:9200/secisland

{

   "mappings": {

       "secilog":{

           "properties": {

               "type":{

                   "type": "string", // 在5.x版本是text

                   "term_vector": "with_positions_offsets",

                   "store": true,

                   "analyzer":"fulltext_analyzer"

               },

               "message":{

                   "type": "string", // 在5.x版本是text

                    "term_vector":"with_positions_offsets",

                   "analyzer":"fulltext_analyzer"

               }

            }

        }

    },

   "settings": {

     "number_of_shards": 1,

     "number_of_replicas": 0,

     "analysis": {

        "analyzer": {

         "fulltext_analyzer":{

           "type":"custom",

           "tokenizer":"whitespace",

           "filter":["lowercase"]

          }

        }

      }

    }

}

# 添加文档

PUT http://hadoop-all-01:9200/secisland/secilog/1

{

   "type":"syslog",

   "message":"secilog test test test"

}

 

PUT http://hadoop-all-01:9200/secisland/secilog/2

{

   "type":"file",

   "message":"Another secilog test"

}

GET http://hadoop-all-01:9200/secisland/secilog/1/_termvectors

{

  "_index": "secisland",

  "_type": "secilog",

  "_id": "1",

  "_version": 1,

  "found": true,

  "took": 32,

  "term_vectors": {

     "message": {

        "field_statistics": {

           "sum_doc_freq": 5,

           "doc_count": 2,

           "sum_ttf": 7

         },

        "terms": {

           "secilog": {

              "term_freq": 1,

              "tokens": [

                 {

                    "position": 0,

                    "start_offset": 0,

                    "end_offset": 7

                 }

              ]

           },

           "test": {

              "term_freq": 3,

              "tokens": [

                 {

                    "position": 1,

                    "start_offset": 8,

                    "end_offset": 12

                 },

                 {

                    "position": 2,

                    "start_offset": 13,

                    "end_offset": 17

                  },

                 {

                    "position": 3,

                    "start_offset": 18,

                    "end_offset": 22

                 }

              ]

            }

         }

      },

     "type": {

        "field_statistics": {

           "sum_doc_freq": 2,

           "doc_count": 2,

           "sum_ttf": 2

         },

        "terms": {

           "syslog": {

              "term_freq": 1,

              "tokens": [

                 {

                     "position": 0,

                    "start_offset": 0,

                    "end_offset": 6

                 }

              ]

            }

         }

      }

   }

}

我们只关注term_vectors字段信息：

# message 和 type使我们要统计的字段

# field_statistics：整个索引下类型的所有文档统计

sum_doc_freq：该字段中词的数量(去掉重复的数目)

sum_ttf文档中词的数量（包含重复的数目）

doc_count涉及的文档数等等

# terms：词统计

term_freq：该次出现频率

tokens：

position： 位置，处于文本第几个单词

start_offset：词的开始偏移量

end_offset：词的结束偏移量