elasticsearch配置小记

基于 elasticsearch 1.4.4 版本.安装方式为RPM安装.所有涉及路径需根据实际情况来设置判断.

0x01 内存调整

调整ES内存分配有多种方式,建议调整 /etc/sysconfig/elasticsearch 中的设置(还可以直接修改bin下的启动脚本).

# Directory where the Elasticsearch binary distribution residesES_HOME=/usr/share/elasticsearch# Heap Size (defaults to 256m min, 1g max)# 修改此处即可,ES_HEAP_SIZE表示JVM参数的-Xms and -Xmx设置ES_HEAP_SIZE=32g# Heap new generation# 表示JVM参数的-Xmn设置#ES_HEAP_NEWSIZE=# max direct memory# 表示JVM的-XX:MaxDirectMemorySize设置#ES_DIRECT_SIZE=# Additional Java OPTS#ES_JAVA_OPTS=# Maximum number of open filesMAX_OPEN_FILES=65535# Maximum amount of locked memory#MAX_LOCKED_MEMORY=# Maximum number of VMA (Virtual Memory Areas) a process can ownMAX_MAP_COUNT=262144# Elasticsearch log directoryLOG_DIR=/var/log/elasticsearch# Elasticsearch data directoryDATA_DIR=/var/lib/elasticsearch# Elasticsearch work directoryWORK_DIR=/tmp/elasticsearch# Elasticsearch conf directoryCONF_DIR=/etc/elasticsearch# Elasticsearch configuration file (elasticsearch.yml)CONF_FILE=/etc/elasticsearch/elasticsearch.yml# User to run as, change this to a specific elasticsearch user if possible# Also make sure, this user can write into the log directories in case you change them# This setting only works for the init script, but has to be configured separately for systemd startupES_USER=elasticsearch# Configure restart on package upgrade (true, every other setting will lead to not restarting)#RESTART_ON_UPGRADE=true

注:只需要修改 ES_HEAP_SIZE 设置即可,其他保持默认.除非你精通JVM的调优. 关于 ES的JVM调优 ,可以查看下.

0x02 集群设置

修改配置 /etc/elasticsearch/elasticsearch.yml 以下对相关字段以注释方式进行解析.

##################### Elasticsearch Configuration Example ###################### 我只是挑些重要的配置选项进行注释,其实自带的已经有非常细致的英文注释了.有理解偏差的地方请以英文原版解释为准.################################### Cluster #################################### 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.# es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。# cluster.name可以确定你的集群名称,当你的elasticsearch集群在同一个网段中elasticsearch会自动的找到具有相同cluster.name的elasticsearch服务.# 所以当同一个网段具有多个elasticsearch集群时cluster.name就成为同一个集群的标识.#cluster.name: elasticsearch#################################### Node ###################################### 节点名称同理,可自动生成也可手动配置.#node.name: "Franz Kafka"# 允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master.#node.master: true# 允许该节点存储数据(默认开启)#node.data: true# 配置文件中给出了三种配置高性能集群拓扑结构的模式,如下：# 1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器# node.master: false# node.data: true## 2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器# node.master: true# node.data: false## 3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等# node.master: false# node.data: false# 监控集群状态有一下插件和API可以使用:# Use the Cluster Health API [http://localhost:9200/_cluster/health], the# Node Info API [http://localhost:9200/_nodes] or GUI tools# such as <http://www.elasticsearch.org/overview/marvel/>,# <http://github.com/karmi/elasticsearch-paramedic>,# <http://github.com/lukas-vlcek/bigdesk> and# <http://mobz.github.com/elasticsearch-head> to inspect the cluster state.# A node can have generic attributes associated with it, which can later be used# for customized shard allocation filtering, or allocation awareness. An attribute# is a simple key value pair, similar to node.key: value, here is an example:##node.rack: rack314# By default, multiple nodes are allowed to start from the same installation location# to disable it, set the following:#node.max_local_storage_nodes: 1#################################### Index ##################################### 设置索引的分片数,默认为5#index.number_of_shards: 5# 设置索引的副本数,默认为1:#index.number_of_replicas: 1# 配置文件中提到的最佳实践是,如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去# 同时,如果增加副本数量可以有效的提高搜索性能# 需要注意的是,"number_of_shards" 是索引创建后一次生成的,后续不可更改设置# "number_of_replicas" 是可以通过API去实时修改设置的#################################### Paths ##################################### 配置文件存储位置#path.conf: /path/to/conf# 数据存储位置(单个目录设置)#path.data: /path/to/data# 多个数据存储位置,有利于性能提升#path.data: /path/to/data1,/path/to/data2# 临时文件的路径#path.work: /path/to/work# 日志文件的路径#path.logs: /path/to/logs# 插件安装路径#path.plugins: /path/to/plugins#################################### Plugin #################################### 设置插件作为启动条件,如果一下插件没有安装,则该节点服务不会启动#plugin.mandatory: mapper-attachments,lang-groovy################################### Memory ##################################### 当JVM开始写入交换空间时（swapping）ElasticSearch性能会低下,你应该保证它不会写入交换空间# 设置这个属性为true来锁定内存,同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过 `ulimit -l unlimited` 命令#bootstrap.mlockall: true# 确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch# 注意:内存也不是越大越好,一般64位机器,最大分配内存别才超过32G############################## Network And HTTP ################################ 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0#network.bind_host: 192.168.0.1# 设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址#network.publish_host: 192.168.0.1# 同时设置bind_host和publish_host上面两个参数#network.host: 192.168.0.1# 设置节点间交互的tcp端口,默认是9300#transport.tcp.port: 9300# 设置是否压缩tcp传输时的数据，默认为false,不压缩#transport.tcp.compress: true# 设置对外服务的http端口,默认为9200#http.port: 9200# 设置请求内容的最大容量,默认100mb#http.max_content_length: 100mb# 使用http协议对外提供服务,默认为true,开启#http.enabled: false################################### Gateway #################################### gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统#gateway.type: local# 下面的配置控制怎样以及何时启动一整个集群重启的初始化恢复过程# (当使用shard gateway时,是为了尽可能的重用local data(本地数据))# 一个集群中的N个节点启动后,才允许进行恢复处理#gateway.recover_after_nodes: 1# 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起#gateway.recover_after_time: 5m# 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合),# 立即开始恢复过程(不等待recover_after_time超时)#gateway.expected_nodes: 2############################# Recovery Throttling ############################## 下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配# 设置一个节点的并行恢复数# 1.初始化数据恢复时,并发恢复线程的个数,默认为4#cluster.routing.allocation.node_initial_primaries_recoveries: 4## 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2#cluster.routing.allocation.node_concurrent_recoveries: 2# 设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好)#indices.recovery.max_bytes_per_sec: 20mb# 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5#indices.recovery.concurrent_streams: 5# 注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度################################## Discovery ################################### 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点.默认为1,对于大的集群来说,可以设置大一点的值(2-4)#discovery.zen.minimum_master_nodes: 1# 探查的超时时间,默认3秒,提高一点以应对网络不好的时候,防止脑裂#discovery.zen.ping.timeout: 3s# For more information, see# <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html># 设置是否打开多播发现节点.默认是true.# 当多播不可用或者集群跨网段的时候集群通信还是用单播吧#discovery.zen.ping.multicast.enabled: false# 这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测#discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]# Slow Log部分与GC log部分略,不过可以通过相关日志优化搜索查询速度############## Memory(重点需要调优的部分) ################# Cache部分:# es有很多种方式来缓存其内部与索引有关的数据.其中包括filter cache# filter cache部分:# filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是所有的索引内部的分片共享filter cache.node type采用的方式是LRU方式.即:当缓存达到了某个临界值之后，es会将最近没有使用的数据清除出filter cache.使让新的数据进入es.# 这个临界值的设置方法如下：indices.cache.filter.size 值类型：eg.:512mb 20%。默认的值是10%。# out of memory错误避免过于频繁的查询时集群假死# 1.设置es的缓存类型为Soft Reference,它的主要特点是据有较强的引用功能.只有当内存不够的时候,才进行回收这类内存,因此在内存足够的时候,它们通常不被回收.另外,这些引用对象还能保证在Java抛出OutOfMemory异常之前,被设置为null.它可以用于实现一些常用图片的缓存,实现Cache的功能,保证最大限度的使用内存而不引起OutOfMemory.在es的配置文件加上index.cache.field.type: soft即可.# 2.设置es最大缓存数据条数和缓存失效时间,通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000,设置index.cache.field.expire: 10m把过期时间设置成10分钟.#index.cache.field.max_size: 50000#index.cache.field.expire: 10m#index.cache.field.type: soft# field data部分&&circuit breaker部分：# 用于field data 缓存的内存数量,主要用于当使用排序,faceting操作时,elasticsearch会将一些热点数据加载到内存中来提供给客户端访问,但是这种缓存是比较珍贵的,所以对它进行合理的设置.# 可以使用值：eg:50mb 或者 30％(节点 node heap内存量),默认是：unbounded#indices.fielddata.cache.size： unbounded# field的超时时间.默认是-1,可以设置的值类型: 5m#indices.fielddata.cache.expire: -1# circuit breaker部分:# 断路器是elasticsearch为了防止内存溢出的一种操作,每一种circuit breaker都可以指定一个内存界限触发此操作,这种circuit breaker的设定有一个最高级别的设定:indices.breaker.total.limit 默认值是JVM heap的70%.当内存达到这个数量的时候会触发内存回收# 另外还有两组子设置：#indices.breaker.fielddata.limit:当系统发现fielddata的数量达到一定数量时会触发内存回收.默认值是JVM heap的70%#indices.breaker.fielddata.overhead:在系统要加载fielddata时会进行预先估计,当系统发现要加载进内存的值超过limit * overhead时会进行进行内存回收.默认是1.03#indices.breaker.request.limit:这种断路器是elasticsearch为了防止OOM(内存溢出),在每次请求数据时设定了一个固定的内存数量.默认值是40%#indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时设定的一个预估系数,用来防止内存溢出.默认值是1# Translog部分:# 每一个分片(shard)都有一个transaction log或者是与它有关的预写日志,(write log),在es进行索引(index)或者删除(delete)操作时会将没有提交的数据记录在translog之中,当进行flush 操作的时候会将tranlog中的数据发送给Lucene进行相关的操作.一次flush操作的发生基于如下的几个配置#index.translog.flush_threshold_ops:当发生多少次操作时进行一次flush.默认是 unlimited#index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操作.默认是512mb#index.translog.flush_threshold_period:在指定的时间间隔内如果没有进行flush操作,会进行一次强制flush操作.默认是30m#index.translog.interval:多少时间间隔内会检查一次translog,来进行一次flush操作.es会随机的在这个值到这个值的2倍大小之间进行一次操作,默认是5s#index.gateway.local.sync:多少时间进行一次的写磁盘操作,默认是5s# 以上的translog配置都可以通过API进行动态的设置

0x03 模板使用

模板是对index内部存储的一个规划,合理的控制store和analyze,设置mapping是集群优化提高性能不可或缺的重要部分.可以通过 curl -XGET 'http://localhost:9200/twitter/_mapping/tweet 来查看某个索引的mapping.

template设定也有多种方法.最简单的就是和存储数据一样POST上去.长期的办法,就是写成json文件放在配置路径里 /etc/elasticsearch/templates .不用重启ES,当你建立一个模板后,每次创建一个新的index,就会会自动加载模板中设置生效的索引名称,然后mapping就生效了.

如果用logstash往es里面写数据的话,其实logstash已经支持模板的使用. eg:

elasticsearch {    template => ... # a valid filesystem path (optional)    template_name => ... # string (optional), default: "logstash"    template_overwrite => ... # boolean (optional), default: false  }

logstash如果不设置上述设置,会自动指定一个默认模板. 默认模板在:logstash_1.4.2/lib/logstash/outputs/elasticsearch/elasticsearch-template.json

• 相关连接:
• http://logstash.net/docs/1.4.2/outputs/elasticsearch#template
• http://tinytub.github.io/elasticsearch-configs.html#
• http://www.yubingzhe.com/?p=137

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于 Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。下面是讲述了elasticsearch分布式搜索配置文件各类参数的具体含义。


　　elasticsearch的 config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下 elasticsearch.yml这个文件中可配置的东西。


　　cluster.name: elasticsearch


　　配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。


　　node.name: "Franz Kafka"


　　节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。


　　node.master: true


　　指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。


　　node.data: true


　　指定该节点是否存储索引数据，默认为true。


　　index.number_of_shards: 5


　　设置默认索引分片个数，默认为5片。


　　index.number_of_replicas: 1


　　设置默认索引副本个数，默认为1个副本。


　　path.conf: /path/to/conf


　　设置配置文件的存储路径，默认是es根目录下的config文件夹。


　　path.data: /path/to/data


　　设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：


　　path.data: /path/to/data1,/path/to/data2


　　path.work: /path/to/work


　　设置临时文件的存储路径，默认是es根目录下的work文件夹。


　　path.logs: /path/to/logs


　　设置日志文件的存储路径，默认是es根目录下的logs文件夹


　　path.plugins: /path/to/plugins


　　设置插件的存放路径，默认是es根目录下的plugins文件夹


　　bootstrap.mlockall: true


　　设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和 ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。


　　network.bind_host: 192.168.0.1


　　设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。


　　network.publish_host: 192.168.0.1


　　设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。


　　network.host: 192.168.0.1


　　这个参数是用来同时设置bind_host和publish_host上面两个参数。


　　transport.tcp.port: 9300


　　设置节点间交互的tcp端口，默认是9300。


　　transport.tcp.compress: true


　　设置是否压缩tcp传输时的数据，默认为false，不压缩。


　　http.port: 9200


　　设置对外服务的http端口，默认为9200。


　　http.max_content_length: 100mb


　　设置内容的最大容量，默认100mb


　　http.enabled: false


　　是否使用http协议对外提供服务，默认为true，开启。


　　gateway.type: local


　　gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。


　　gateway.recover_after_nodes: 1


　　设置集群中N个节点启动时进行数据恢复，默认为1。


　　gateway.recover_after_time: 5m


　　设置初始化数据恢复进程的超时时间，默认是5分钟。


　　gateway.expected_nodes: 2


　　设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。


　　cluster.routing.allocation.node_initial_primaries_recoveries: 4


　　初始化数据恢复时，并发恢复线程的个数，默认为4。


　　cluster.routing.allocation.node_concurrent_recoveries: 2


　　添加删除节点或负载均衡时并发恢复线程的个数，默认为4。


　　indices.recovery.max_size_per_sec: 0


　　设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。


　　indices.recovery.concurrent_streams: 5


　　设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。


　　discovery.zen.minimum_master_nodes: 1


　　设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值(2-4)


　　discovery.zen.ping.timeout: 3s


　　设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。


　　discovery.zen.ping.multicast.enabled: false


　　设置是否打开多播发现节点，默认是true。


　　discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]


　　设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。


　　下面是一些查询时的慢日志参数设置，如下


　　index.search.slowlog.level: TRACE 


index.search.slowlog.threshold.query.warn: 10s 


index.search.slowlog.threshold.query.info: 5s 


index.search.slowlog.threshold.query.debug: 2s 


index.search.slowlog.threshold.query.trace: 500ms 


index.search.slowlog.threshold.fetch.warn: 1s 


index.search.slowlog.threshold.fetch.info: 800ms 


index.search.slowlog.threshold.fetch.debug:500ms 


index.search.slowlog.threshold.fetch.trace: 200ms


修改Es占用内存： 
vi /oracle/ecm_es/elasticsearch-0.90.5/bin/elasticsearch.in.sh，找
到 ES_MIN_MEM和ES_MAX_MEM，修改es最大和最小占用内存值。 
 
ES_MIN_MEM=32G 

ES_MAX_MEM=32G