Elasticsearch 2014年12月简报
来源:互联网 发布:怎么理解require.js 编辑:程序博客网 时间:2024/04/28 10:34
1. Elasticsearch Updates
1.1 Elasticsearch 1.4.2发布了
一些改进和bug fix,没有大变化:
(1) 根据磁盘剩余空间判断shard存储位置的逻辑在速度上有大幅提升,这也提升了cluster重启后的恢复速度。
(2) 提升了把Snapshot镜像到shared file system的速度。
(3) 减少了不必要的cluster state更新。
(4) index stats API 在有shard恢复的情况下不再阻塞。
1.2 Elasticsearch 1.3.7发布了
改进和bug fix,release note见:Elasticsearch 1.3.7 released
1.3 官方documents更新
Elasticsearch, Logstash, Kibana, Marvel的官方documents, tutorial现在都统一放在了这里:http://www.elasticsearch.org/guide/。以后看docs统统到这里!这里的logstash的documents比logstash.net的更详尽,以后logstash.net的documents也会逐渐停止更新。
2. Elasticsearch Ecosystem Updates
2.1 Logstash 1.5.0 Beta 1发布了
1.5.0最大的变化在插件管理上。
(1) 插件管理:插件与Logstash主程序分离了,使用 rubygems.org来发布插件,另外附带一个plugin命令来管理插件。所以现在Logstash与Elasitcsearch的插件管理方式相似了。
(2) 性能提升:grok filter的正则匹配做了优化,如官方测试了一下COMBINEDAPACHELOG,相比1.4.2,性能近乎提高了1倍。json的序列化与反序列化性能提升超过了1倍。
(3) Apache Kafka:增加了对最近很火的分布式消息系统kafka input,output的支持.
(4) 安全性:elasticsearch input, filter, output插件增加了验证和传输层的加密支持。(这是为Elasticsearch.com公司的另一款即将发布的安全产品Shield做准备的)transport encryption support.
(5) 改进和bug fix:
允许为event包含`metadata`,它不会被logstash output插件输出,这个新功能避免了在event上生成临时的`field`.([#1834](https://github.com/elasticsearch/logstash/issues/1834), [#LOGSTASH-1798](https://logstash.jira.com/browse/LOGSTASH-1798))。同时Logstash输出时默认去掉了`message.raw `。
科普:如何安装Kafka插件 安装kafka input插件: $LS_HOME/bin/plugin install logstash-input-kafka 安装kafka output插件: $LS_HOME/bin/plugin install logstash-output-kafka
2.2 Kibana 4 Beta3 发布了
2.2.1 interactive charts and dashboards
`Dashboard` Tab上添加了`filter`,条形图,饼图上的元素都可以点击来创建`filter`,`filter`的操控性比kibana3 更好。
2.2.2 scripted fields
用户可用脚本对若干field的值进行计算或字符串操作,并将结果输出到另外的field中。这个field是`scripted field`,可以像普通field一样在kibana中使用它。因为`scripted field`不存储在elasticsearch中,所以不能对其进行搜索。
2.2.3 highlighting and a new format for _source
在搜索的结果数据中,关键词被高亮,显得更突出。`_source`的展现方式也更加人性化。
2.2.4 hit links
看上图,如果要分享一条数据给其他人,可以点右侧的`Link to....`。以前只能分享整个`dashboard`的链接,现在可以分享单条数据的链接,但这个有啥用呢?我觉得倒不如能分享单个图表更有意义,像`keen.io`提供的api那样,方便把某个图表嵌入到任意页面中。
2.2.5 metric visualization
新增了`metric`类型,就是一个图表中只有一个大大的数字。
2.3 elasticsearch 的.NET client NEST 1.3.0发布了
详见release note: https://github.com/elasticsearch/elasticsearch-net/releases/tag/1.3.0
2.4 Marvel 1.3.0 发布了
主要更新如下:
(1) sense中加入了1.4.x新增的api自动补全提示。
(2) 增加了对HTTPS的支持。
(3) monitoring ui增加了对elasticsearch 1.4.0新增的 circuit breakers的监控,以及对circuit break limit, Query Cache, index throttling, index writerd的内存使用,version map的监控。
(4) Sense: 增加了禁掉mappings和index名称自动完成的设置。PS:以前没有此功能时,我们的es集群有200+ index, 打开sense会假死一段时间,因为浏览器要解析很多mappings.
(5) sense 新增API举例: Cluster Reroute API, Get Field Mappings API, cluster.routing.allocation.* settings, Scripted Metric Aggregation, simple_query_string query, Top Hits aggregation, Percentiles Rank aggregation, Disk Threshold Allocator settings
完整的更新列表见[marvel 1.3.0 released](http://www.elasticsearch.org/blog/marvel-1-3-0-released/)
3. Amazing Slides & tutorials & videos
http://www.elasticsearch.org/blog/plugin-ecosystem-changes/
https://speakerdeck.com/elasticsearch/maintaining-performance-in-distributed-systems
Kibana 4 尝鲜
http://amsterdam.luminis.eu/2014/12/01/experiment-with-the-kibana-4-beta/#more-76
https://www.youtube.com/watch?v=BSY9rnK9QBs&list=UUmIz9ew1lA3-XDy5FqY-mrA
https://www.voxxed.com/blog/2014/12/advanced-scoring-elasticsearch/
ELK入门,很详细的DIY教程
http://www.thegeekstuff.com/2014/12/logstash-setup
ES性能优化,法语的,用translate.google.com搞定吧
http://blog.ebiznext.com/2014/12/16/elasticsearch-performance-tuning/
http://www.elasticsearch.org/videos/scripted-aggregations-london-december-meetup-2014/
4. Meetups in China
References
2. This Week in ElasticsearchDecember 3, 2014 http://www.elasticsearch.org/blog/2014-12-03-this-week-in-elasticsearch/
3. This week in ElasticsearchDecember 10, 2014 http://www.elasticsearch.org/blog/2014-12-10-this-week-in-elasticsearch/
4. This Week in ElasticsearchDecember 17, 2014 http://www.elasticsearch.org/blog/2014-12-17-this-week-in-elasticsearch/
5. Kibana 4 Beta 3: Now more filteryDecember 16, 2014 http://www.elasticsearch.org/blog/kibana-4-beta-3-now-more-filtery/
6. Logstash 1.5.0.Beta1 releasedDecember 11, 2014 http://www.elasticsearch.org/blog/logstash-1-5-0-beta1-released/
7. Exciting Logstash Plugin Ecosystem ChangesDecember 12, 2014 http://www.elasticsearch.org/blog/plugin-ecosystem-changes/
8. NEST and Elasticsearch.NET 1.3December 9, 2014 http://www.elasticsearch.org/blog/nest-and-elasticsearch-net-1-3/
9. Marvel 1.3.0 releasedDecember 17, 2014 http://www.elasticsearch.org/blog/marvel-1-3-0-released/
- Elasticsearch 2014年12月简报
- Elasticsearch 2014年10月简报
- Elasticsearch 2014年11月简报
- Elasticsearch 1.0.0 GA于2014年2月12日正式发布
- 金融市场一周简报(2017-08-12)
- 众筹之家9月股权众筹行业简报
- 2014中国互联网职场调查报告(简报)
- 【金融财经】金融市场一周简报(2017-12-01)
- 【金融财经】金融市场一周简报(2017-12-08)
- 项目简报
- ElasticSearch学习10月8日
- 2013年9月、10月、11月、12月至1月中旬
- 2014年9月-10月计划
- 2014年4月TOJ月赛
- 2014年5月TOJ月赛
- fzu 月赛 2011年12月
- 12月11日云栖精选夜读:【X-Pack解读】阿里云Elasticsearch X-Pack Graph组件功能详解
- 软件加密行业简报
- 在项目中,点击“删除”按钮后,跳转到哪个页面?又该如何设置?
- 去除句子中所有的空格
- Java继承
- 设计一个类似支付宝的在线支付系统,问如何着手?
- Android代码优化——使用Android lint工具
- Elasticsearch 2014年12月简报
- Linux下软件的安装与卸载
- Linux 的mv命令
- OpenWrt启动过程分析
- 黑马程序员_抽象类
- android应用安全——(数据抓包)跟踪监控android数据包
- [POJ 1469]COURSES · 二分图
- 12种炫酷html5 svg加载loading动画特效
- 联通资源库job不运行维护报告