ElasticSearch索引构建速度调优

ElasticSearch version 2.1.1

1."number_of_replicas": 0

    构建索引的时候，可以先关闭replicas，等索引建立完毕之后在建立副本

2."refresh_interval": "-1"

    构建索引的时候不需要实时refresh

3.translog 优化：

     "translog": {

                "sync_interval": "60s",     --sync间隔调高

                "durability": "async",        – 异步更新

                "flush_threshold_size":"1g"  --log文件大小

             }

 4.禁用_all字段，减少一半的索引空间

    "_all": { 

            "enabled": false

        }

 5. 使用node client ，减少一次网络传输

6.bulk size依据各自网络环境来定，我们的网络环境约54MB/s，每个bulk size的大小经过多次测试，设置为20MB，记录数10000条。

第一次调优结果：截止2016.5.20 ，32台节点的es集群，平均写入速度能到2.8万每秒。

后来，又进行了第二次调优的性能测试，32台节点es集群，最终达到每秒13.33万记录。每条记录约为1.2kb，也就是每秒133M的索引生成速度。

详细的测试过程的表格太大，这里展示不了，只能说下测试总结：

随着ES shard的增多，es的索引生成速度是可以随之上升的。为了满足每个shard都到达自己的极限，就要加大bulk size，从而保证给每个shard充足的数据。