Elasticsearch 2014年11月简报

1. Elasticsearch Updates

1.1 Elasticsearch 1.4.0发布了，1.4.x中最新最稳定的版本

这个版本主要加强了Es的稳定性和可靠性，内存管理更合理，加入数据校验以发现损坏的数据，主要变化如下：

（1）磁盘利用率默认每60s检查一次，磁盘满的日志由`DEBUG`改为`WARN`级别，对由磁盘满触发的shard在node之间的移动做了优化。

（2）Doc values把执行sort,aggregations时需要的fielddata写到了磁盘上，解决了默认用 in memory fielddata执行big query超出内存限制或占用过多内存的问题。近期发布的版本对doc values做了巨大的性能改进，根据官方的性能测试，它仅比fielddata慢了约10~25%，并且对于大部分的Queries, sorts, aggregations,scripts几乎感觉不到。

（3）通过Request circuit breaker加入了对单个请求的内存使用限制。

（4）大量使用数据校验以检测数据损坏。

（5）Groovy替代MVEL成为默认的脚本语言。

（6）跨域访问（CORS）默认被禁止。

（7）Shard级别的Query cache使常用的aggregation, suggestions可以立即得到结果。Query cache目前只能用于search_type=count, 没有通过`now`指定时间的query中。

（8）新加入了3个aggregation类型：filters，children，scripted_metric。

（9）一次获取index settings, mappings, warmers, aliases的新GET /index API。详见doc。

curl -XGET 'http://es_host:9200/your_index/_settings,_mappings, _warmers,_aliases'

（10）使用Flake IDs代替random UUID,提高了indexing效率和primary key查询效率，见这篇介绍performance considerations for elasticsearch indexing。

我们在10月的Es简报中发布了Elasticsearch 1.4.0.Beta1中提到了更详细的变化。

1.2 Elasticsearch 1.3.6发布了，1.3.x中最新最稳定的版本

一堆bug fix，见release notes。

2. Elasticsearch Ecosystem Updates

2.1 Elasticsearch 安全工具Shield即将发布

elasticsearch背后的公司elasticsearch.com即将在年底发布一款重量级产品：Shield(elasticsearch的神盾特工局，专门保护elasticsearch的安全)。Shield预计是以elasticsearch插件的方式集成到其中。相信感受过此公司的Marvel易用性的用户应该会很期待这款产品。Shield主要提供了4个功能：

* 基于用户角色对Index读、写、查询的权限控制
* 对基于LDAP和Active Directory验证的支持
* 使用SSL/TLS对es node之间，client和node之间的传输加密
* 记录安全相关的日志

2.2 kibana 4 beta 2发布了

（1）现在支持地图了，利用aggregations在地图上地理位置相关的数据。

                                                  

（2）条形图可以以独立的方式按组绘制了，如在一个数据点上的html,css,php.这正是我们需要的功能。
                                                  

（3）朴素的数据表，只展示数据
                                                  

3. Amazing Slides & tutorials & videos

（1）migrating his Elasticsearch cluster from Canada to France with zero downtime

（2）Having Fun: Python and Elasticsearch, Part 1   使用python入门Elasticsearch 

（3）The ELK Stack in a DevOps Environment  里面有一个在生产环境中Es,Logstash,Kibana配置的Best practices值得一看。

（4）Not all Nodes are Created Equal - Scaling Elasticsearch  扩展Elasticsearch。

4. Meetups in China

Nothing

5. Glossary 术语解释

（1）fielddata 

fielddata的实现思路与倒排索引(inverted index)相反，Es使用倒排索引高效的完成search, 使用fielddata高效得完成aggregations,sorting,filter。fielddata的相关介绍[1]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata.html, [2]http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/fielddata-intro.html。

6. References

1. shield: you know, for security http://www.elasticsearch.org/blog/shield-know-security-coming-soon/ 
2. Elasticsearch 1.4.0 and 1.3.5 released http://www.elasticsearch.org/blog/elasticsearch-1-4-0-released/
3. This week in ElasticsearchNovember 5, 2014 http://www.elasticsearch.org/blog/2014-11-05-this-week-in-elasticsearch/
4. This week in ElasticsearchNovember 12, 2014 http://www.elasticsearch.org/blog/2014-11-12-this-week-in-elasticsearch/
5. This Week in ElasticsearchNovember 19, 2014 http://www.elasticsearch.org/blog/2014-11-1-this-week-in-elasticsearch/
6. This week in elasticsearchNovember 26, 2014 http://www.elasticsearch.org/blog/2014-11-26-this-week-in-elasticsearch/
7. kibana 4 beta 2: get it now http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/
8. elasticsearch 1.4.1 and 1.3.6 released http://www.elasticsearch.org/blog/elasticsearch-1-4-1-released/

转载本文请注明作者和出处[Gary的影响力]http://garyelephant.me，请勿用于任何商业用途！
Author: Gary Gao( garygaowork[at]gmail.com) 关注互联网、分布式、高性能、NoSQL、自动化、软件团队