ES时区问题
来源:互联网 发布:识别照片文字的软件 编辑:程序博客网 时间:2024/06/14 22:55
ES时区问题
elasticsearch原生支持date类型,json格式通过字符来表示date类型。
所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。
date类型是包含时区信息的,如果我们没有在json代表日期的字符串中显式指定时区,对es来说没什么问题,
但是如果通过kibana显示es里的数据时,就会出现问题,数据的时间会晚8个小时。
kibana在通过浏览器展示的时候,会通过js获取当前客户端机器所在的时区,也就是东八区,所以kibana会把从es得到的日期数据减去8小时。
最佳实践方案就是:往es提交日期数据时,直接提交带有时区信息的日期字符串,
如:“2016-07-15T12:58:17.136+0800”。
数据的存储和显示相分离是非常基本的设计原则,却常常被大多数开发人员忽略:
基于“数据的存储和显示相分离”的设计原则,只要把表示绝对时间的时间戳(无论是Long型还是Float)存入数据库,在显示的时候根据用户设置的时区格式化为正确的字符串。
System.currentTimeMillis() 自起点多少毫秒数。是隐式含有时区信息的。不同时区在同一时刻,距离起点的毫秒数是不同的!
若写入的是new Date().getTime(),默认按照系统时区写(东八区)。kibana按照东八区读没问题。
若写入的是字符串,没有时区信息,默认按照0时区,Kibana读取的时候,若按照东八区读,差8小时。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
写入数
据查询不出结果#
时区问题:
东八区(GMT+08:00)是比世界协调时间(UTC)/格林尼治时间(GMT)快8小时的时区,
英国格林尼治处于0度经线
美国横跨西五区至西十区,共六个时区。每个时区对应一个标准时间,
华盛顿(西五区)比北京慢13小时
“Management” —- “Advanced Settings”
dateFormat:YYYY-MM-DD HH:mm:ss.SSS 显示结果时,方便查看的格式
dateFormat:tz 若采用默认时区则,显示时需设置为 GMT0,这是 展示数据正确与否的关键设置
最佳实践
- 1
- 2
- 3
- 4
提交数据携带时区信息
- 1
java格式化:
- 1
- 2
- 3
注意:
- 1
使用ELK组件从Kibana4中查看日志数据,以某个时间字段为timestam时发现所有时间都被自动提前了八个小时。
虽然是小问题,但是很头疼,因为作为基线的时间和实际情况有误差,那日志就没法看了。
查看Kibana4的json数据格式可以发现所有时间字符串都被Elasticsearch转换成了长整型:
- 1
- 2
- 3
- 4
其source的时间值为想要的:
“@timestamp”: “2015-09-14T07:09:41.048Z”
这是因为Elasticsearch在处理时间字符串时默认按UTC时间,如果没有指定额外信息的话。
因此,如果按照北京时间处理的话,就得需要加上08:00
在logstash的配置中可以使用mutate过滤器对输入Elasticsearch的时间字段做如下过滤:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
注意,其中T为日期和时间之间的分隔符,Elasticsearch可以识别进行处理。
- ES时区问题
- ELK kibana 常见问题及ES时区问题
- 时区问题
- es问题
- java 时区问题 SimpleDateFormat 时区大全
- 关于java时区问题
- java 时区问题
- Java 时区问题
- CST时区问题
- Tomcat时区设置问题
- Java时区问题
- XSLT时区问题
- Oracle 时区问题
- PHP的时区问题
- java设置时区问题
- Java虚拟机 时区问题
- NSDateFormatter时区问题
- 时区设置问题
- JDBC再学习
- Docker安装应用(CentOS 6.5_x64)
- 程序设计基础
- js转换Date日期格式
- 一看就懂的Linux系统vi(vim)编辑器命令使用教程
- ES时区问题
- Linux IO
- Linux执行命令提示:bash:command not found
- eclipse中SQLExplorer的下载与使用
- STORM入门之(集成HDFS)
- クレイジー描画ボード
- MFC画线
- java读取项目里配置文件properties的工具
- 怎么解决java.lang.NoClassDefFoundError错误