ElasticSearch按日生成index的两种方法
来源:互联网 发布:大麦网源码 编辑:程序博客网 时间:2024/06/01 14:54
我们经常会遇到这样的需求,即日志只保留一定天数,过期的删除。当然如果你存储无限大,请忽略此文。
注:以下会用到Date math。
1. 使用Delete By Query API
不靠谱
Delete By Query API可以搜索文档并删除。使用这种方法,就是所有日志都在一个index里,然后搜索过期的日志并删除。例如:
POST twitter/_delete_by_query{ "query": { "range" : { "@timestamp" : { "lt" : "now-30d/d" } } }}
虽然可以,但却存在以下问题:
1. 搜索会造成额外的性能消耗,尤其是日志量大的时候;
2. 30天的日志都在一个index里,影响性能。
2. 使用Rollover
Rollover Index通过别名的方式生成带序号的index。例如:
# PUT /<logs-{now/d}-000001> with URI encoding:PUT /%3Clogs-%7Bnow%2Fd%7D-000001%3E{ "aliases": { "logs_write": {} }}# Add 1000+ doc, or run the next dayPOST /logs_write/_rollover { "conditions": { "max_age": "1d", "max_docs": 1000 }}
这个方法的原理其实是:
1. 新建一个带当天日期及序号的indexlogs-2017.06.18-000001
;
2. 为这个index指定一个别名logs_write
;
3. 检查logs_write
所指的index是否满足rollover的条件,满足则新建下一个index,并将别名改为指向新的index;
4. 因当天文档数超导致新建下一个index,序号+1,即logs-2017.06.18-000002
;
5. 因过了一天导致新建下一个index,日期+1,序号+1,即logs-2017.06.19-000002
;
6. logs_write
永远指向最新的index,所以写入日志可以不考虑index的序号,永远写入logs_write
即可。
注意!POST /logs_write/_rollover
这个动作,并不是ElasticSearch内建的定时机制!也就是说,除非你定期执行POST /logs_write/_rollover
,否则当前的index即使过期了或者文档数超了,也不会rollover。
3. 使用Date Math
第2章的方法是一个万能的方法,用于解决已有index的日期化问题。如果是全新的index,则更为简单,直接向带Date Math的index提交文档即可,例如:
# PUT /<logs-{now/d}> with URI encoding:PUT /%3Clogs-%7Bnow%2Fd%7D%3E{ "key": "value" }
如果是logstash提交的日志,相应配置如下:
output { elasticsearch { hosts => ["127.0.0.1"] index => "logs-%{+YYYY.MM.dd}" document_type => "logs_type" }}
这样就能自动按日生成index。注意,这里日期格式必须为YYYY.MM.dd
才能得到我们常用的形如2017.06.26这样的日期,YYYY.mm.dd
或YYYY.MM.DD
都不行。
4. 删除过期日志
两种方法删除过期日志的方法都非常简单,写个计划任务定期执行即可。例如:
# DELETE /<logs-{now-30d/d}*> with URI encoding:DELETE /%3Clogs-%7Bnow-30d%2Fd%7D*%3E
而且与Delete By Query
相比,直接删除整个index的方法非常快。
- ElasticSearch按日生成index的两种方法
- 按日期取得文件名的两种方法 fileName=DateTime.Now.ToString("yyyyMMddhhmmss");
- ASP 生成文件的两种方法
- drupal 生成excel的两种方法
- 子集生成的两种方法
- 两种生成唯一字符串的方法
- 生成全排列的两种方法
- 两种PHP生成二维码的方法
- 自动生成testbench的两种方法
- 子集生成的两种方法
- 生成GUID的两种方法
- 最小生成树的两种方法
- python两种生成md5的方法
- 子集生成的两种方法
- 最小生成树的两种方法
- 两种简单生成编号的方法
- Jsoup生成Document的两种方法
- 子集生成的两种方法
- angular 1 与 angular 2 有哪些区别
- React +ES6 +Webpack入门
- css创建一个链接框
- SDUT-2736 小鑫の日常系列故事(五)——卡片游戏
- [Symfony\Component\Process\Exception\RuntimeException] The Proc
- ElasticSearch按日生成index的两种方法
- FetchType.EAGER 懒加载失败
- centos打开端口
- 女性三围的检测验证js-------格式 20,30,40
- VS2010->无法启动程序 拒绝访问
- LintCode 中位数
- 08、react之 状态
- JS通用表单验证函数
- CentOS7 搭建vsftpd详细教程