logstash如何将日志中字符串类型的时间转化成@timestamp
来源:互联网 发布:unity3d官方视频教程 编辑:程序博客网 时间:2024/05/16 05:40
在ELK组合中我们在outputs/elasticsearch中常用的%{+YYYY.MM.dd}来创建索引,而这种写法是必须要读@timestamp这个字段的。默认情况下@timestamp字段显示的是当前时间,但我们可能需要记录的是日志中的字符串类型的时间,所以我们需要把日志中字符串类型的时间覆盖掉@timestamp中的当前时间。
创建配置文件 code.conf
input {
stdin{}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss,SSS"]
target => "@timestamp"
}
}
output{
stdout{
codec=>rubydebug{}
}
}
说明:标红出为日志中的时间格式,这个根据具体的日志自行修改或自己开发正则去匹配。
这里我用的是logstash自带的正则。要查看自带了哪些正则可查看文件:/logstash-2.2.0/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns/grok-patterns
测试:
./logstash -f code.conf
手动输入:
2016-08-24 18:05:39,830
可以看到@timestamp字段已经被覆盖。最后别忘了删除logdate字段
mutate {
remove => ["logdate"]
}
关于kafka与logstash数据交互
关于logstash数据进elasticsearch
- logstash如何将日志中字符串类型的时间转化成@timestamp
- Logstash学习4_Logstash如何将操作日志中的字符串类型的时间转化成@timestamp
- 如何将操做日志中的字符串类型的时间转化成logstash中的@timestamp
- go语言如何将时间转化为字符串String类型
- Timestamp 类型的时间转换成字符串
- 将 string形式的时间转化为 timestamp
- C++中如何将string类型转化成char类型
- MySQL中特殊的时间类型--TIMESTAMP
- 将timestamp类型的时间 转成date型
- 如何将字符串转化成二进制流的字符串了?
- java将字符串转化成时间格式
- js中如何将字符串转化为时间,并计算时间差
- Android开发之--将时间字符串转化成Date类型或反转
- scala对时间(date)字符串转化为时间戳timestamp的实现
- Timestamp时间类型的比较
- Oracle中两个TIMESTAMP时间类型的差
- JS 字符串转化时间类型
- android 如何将图片转化成字符串
- Glide入门教程——9. 缩略图
- Glide入门教程——10. 回调:定制view中使用SimpleTarget和ViewTarget
- 8月21,安卓开发JNI学习笔记整理
- ruby 淘宝镜像
- UVA 1639
- logstash如何将日志中字符串类型的时间转化成@timestamp
- Glide入门教程——11.通知栏和桌面小控件的图片加载
- windows 以VNC方式访问centos 7.x服务器
- Jenkins构建Android项目持续集成之findbugs的使用
- Glide入门教程——12.异常: 调试和报错处理
- JDK、JRE、JVM三者间的关系
- C/C++ 学习之路 -- 第0001课 -- Hello World
- Glide入门教程——13.自定义变换
- Glide入门教程——14.用animate()定制动画