ELK kibana 常见问题及ES时区问题

ES时区问题

elasticsearch原生支持date类型，json格式通过字符来表示date类型。
所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。

date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题，
但是如果通过kibana显示es里的数据时，就会出现问题，数据的时间会晚8个小时。

kibana在通过浏览器展示的时候，会通过js获取当前客户端机器所在的时区，也就是东八区，所以kibana会把从es得到的日期数据减去8小时。
最佳实践方案就是：往es提交日期数据时，直接提交带有时区信息的日期字符串，
如：“2016-07-15T12:58:17.136+0800”。

数据的存储和显示相分离是非常基本的设计原则，却常常被大多数开发人员忽略:
基于“数据的存储和显示相分离”的设计原则，只要把表示绝对时间的时间戳（无论是Long型还是Float）存入数据库，在显示的时候根据用户设置的时区格式化为正确的字符串。

System.currentTimeMillis() 自起点多少毫秒数。是隐式含有时区信息的。不同时区在同一时刻，距离起点的毫秒数是不同的！

若写入的是new Date().getTime()，默认按照系统时区写(东八区)。kibana按照东八区读没问题。
若写入的是字符串，没有时区信息，默认按照0时区，Kibana读取的时候，若按照东八区读，差8小时。

long t = System.currentTimeMillis();System.out.println("long = " + t);// current time zone:SimpleDateFormat sdf_default = new SimpleDateFormat("yyyy-MM-dd HH:mm");System.out.println(sdf_default.format(t));SimpleDateFormat sdf_8 = new SimpleDateFormat("yyyy-MM-dd HH:mm");sdf_8.setTimeZone(TimeZone.getTimeZone("GMT0"));System.out.println("GMT0 = " + sdf_8.format(t));其它：TimeZone.getTimeZone("GMT+8:00")TimeZone.getTimeZone("America/Los_Angeles")TimeZone.setDefault(TimeZone.getTimeZone("GMT+8")) 修改默认时区

写入数

据查询不出结果#
时区问题：
东八区（GMT+08:00）是比世界协调时间（UTC）/格林尼治时间（GMT）快8小时的时区，
英国格林尼治处于0度经线

美国横跨西五区至西十区,共六个时区。每个时区对应一个标准时间,
华盛顿(西五区)比北京慢13小时

“Management” —- “Advanced Settings”

dateFormat：YYYY-MM-DD HH:mm:ss.SSS 显示结果时，方便查看的格式
dateFormat:tz 若采用默认时区则，显示时需设置为 GMT0，这是 展示数据正确与否的关键设置

最佳实践

"createtime": {               "type": "date",               "format":"YYYY-MM-DD'T'HH:mm:ss.SSSZ"   }

提交数据携带时区信息

"createtime":"2017-01-22T12:58:17.136+0800" //以东八区写入

java格式化：

String FULL_FORMAT="yyyy-MM-dd\'T\'HH:mm:ss.SSS+0800";Date now=new Date();new SimpleDateFormat(FULL_FORMAT).format(now)

注意：

"createtime":"2017-01-22T18:55:17.136Z"  这里没有携带时区信息，将以默认时区写入(GMT0)

---

使用ELK组件从Kibana4中查看日志数据，以某个时间字段为timestam时发现所有时间都被自动提前了八个小时。
虽然是小问题，但是很头疼，因为作为基线的时间和实际情况有误差，那日志就没法看了。
查看Kibana4的json数据格式可以发现所有时间字符串都被Elasticsearch转换成了长整型：

"fields": {    "@timestamp": [      1442214581048    ]

其source的时间值为想要的：

“@timestamp”: “2015-09-14T07:09:41.048Z”

这是因为Elasticsearch在处理时间字符串时默认按UTC时间，如果没有指定额外信息的话。
因此，如果按照北京时间处理的话，就得需要加上08:00

在logstash的配置中可以使用mutate过滤器对输入Elasticsearch的时间字段做如下过滤：

  mutate{        gsub => [       "time", "[+]", "T"                 ]      }         mutate{            replace => ["time","%{time}+08:00"]      }

注意，其中T为日期和时间之间的分隔符，Elasticsearch可以识别进行处理。