分布式日志收集之Logstash 笔记(二)
来源:互联网 发布:编程机器人玩具 编辑:程序博客网 时间:2024/05/28 16:02
进入正题吧,上篇介绍了Logstash的基础知识和入门demo,本篇介绍几个比较常用的命令和案例
通过上篇介绍,我们大体知道了整个logstash处理日志的流程:
input => filter => output
除了上面几个基础命令,还有ruby,mutate,gork,codes几个命令比较常用:
在线gork正则的地址:http://grokdebug.herokuapp.com/
Logstash基础正则地址:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
如果你是做运维的,那么很幸运,内置的120多个正则,对运维人员来说非常方面,比如常见的Apache的log格式,Nginx的log格式
上面的正则库都有成型的正则式,省去了自己编写正则一大部分的工作。
如果你是做开发的,那么稍微麻烦点,开发需要面对各种业务log+系统log,这时候,掌握gork用法,使用正则提取任意内容,变得比较重要了,不过相信大部分人都会一些基础的正则,所以还是比较轻松的。
下面看几个案例:
案例(一)使用gork提取Solr搜索的log里面的一些字段内容:
例子数据(注意这是一行数据):
使用gork正则语法+内置正则,能够提取出,log级别,UTC时间,查询关键词等等内容
案例(二)使用filter-date插件提取日志文件里面的时间,覆盖logstash自己默认生成log时的时间
官网介绍:https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
这个案例也比较常见,因为我们需要的时间,肯定是log日志里面记录的时间,而不是logstash接入时的那个时间,保证时间正确,才能在
Kibana里面正确的展示,关于UTC时间的+8的问题,这里就不说了,搜索时自己可以控制搜到正确的内容即可
内容如下截图,写了一个固定的时间:
结果如下图,已经被转换成UTC时间
案例(三)使用ruby内嵌代码,将一个yyyy-MM-dd HH:mm:ss格式的日期,转换成long时间戳
接着案例二的代码,再其filter里面再加入如下一段代码:
运行后,再看结果:
写个程序验证是否正确,发现没有问题:
如果会点JRuby或者Ruby语法,来使用Logstash则可以做更多的自定义的处理任务
案例(四)使用codec+multiline来处理跨行的日志
什么场景下,需要使用multiline插件呢? 最常见的就是我们的log4j里面的记录的java程序发生异常时,经常
会抛出一大堆异常,如下:
注意这么多行日志,从业务角度来讲,它是一行的,如果默认我们不做任何处理,logstash就会把它解析成多个事件,这样以来
基本上偏离了我们预期的设想,那么该如何处理呢?
方法(1):
在input阶段的编码过程中,加入正则判断:
方法(2):
还是在input阶段,但是使用的触发模式,直到遇到下一行日志前,把这一行与下一行之间的所有内容都当成是一行,这种做法比较简单,优点时在性能与准确度上可能会比上一个方法好,但是缺点是,必须有下一行日志产生,当前的这一行日志,才能被收集完毕 !
参考文章:http://blog.sematext.com/2015/05/26/handling-stack-traces-with-logstash/
案例(五)使用mutate+gsub来去除一些字段里面的换行符
通过上篇介绍,我们大体知道了整个logstash处理日志的流程:
input => filter => output
除了上面几个基础命令,还有ruby,mutate,gork,codes几个命令比较常用:
在线gork正则的地址:http://grokdebug.herokuapp.com/
Logstash基础正则地址:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
如果你是做运维的,那么很幸运,内置的120多个正则,对运维人员来说非常方面,比如常见的Apache的log格式,Nginx的log格式
上面的正则库都有成型的正则式,省去了自己编写正则一大部分的工作。
如果你是做开发的,那么稍微麻烦点,开发需要面对各种业务log+系统log,这时候,掌握gork用法,使用正则提取任意内容,变得比较重要了,不过相信大部分人都会一些基础的正则,所以还是比较轻松的。
下面看几个案例:
案例(一)使用gork提取Solr搜索的log里面的一些字段内容:
例子数据(注意这是一行数据):
- INFO - 2015-11-03 06:10:53.106; [ company] org.apache.solr.core.SolrCore; [company] webapp=/solr path=/select params={mm=100%25&sort=score+desc,regCapital+desc,foundDate+asc,cpyNamePy+asc&start=0&q=+cpyName:兰州顶津食品有限公司++OR+sname:"兰州顶津食品有限公司"^10+OR+oldName:兰州顶津食品有限公司
- +&wt=javabin&fq=&version=2&rows=10&defType=edismax} hits=0 status=0 QTime=2
使用gork正则语法+内置正则,能够提取出,log级别,UTC时间,查询关键词等等内容
- log级别:
- %{LOGLEVEL:loglevel}
- 查询时间:
- %{TIMESTAMP_ISO8601:time};
- 查询关键词 :
- cpyName:(?<kw>.*)\+\+
- 命中数量 :
- hits=(?<hits>\d+)
- 查询时间
- QTime=(?<qtime>\d+)
- 查询偏移开始:
- start=(?<start>\d+)
- 返回数量:
- rows=(?<rows>\d+)
案例(二)使用filter-date插件提取日志文件里面的时间,覆盖logstash自己默认生成log时的时间
官网介绍:https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
这个案例也比较常见,因为我们需要的时间,肯定是log日志里面记录的时间,而不是logstash接入时的那个时间,保证时间正确,才能在
Kibana里面正确的展示,关于UTC时间的+8的问题,这里就不说了,搜索时自己可以控制搜到正确的内容即可
内容如下截图,写了一个固定的时间:
结果如下图,已经被转换成UTC时间
案例(三)使用ruby内嵌代码,将一个yyyy-MM-dd HH:mm:ss格式的日期,转换成long时间戳
接着案例二的代码,再其filter里面再加入如下一段代码:
运行后,再看结果:
写个程序验证是否正确,发现没有问题:
如果会点JRuby或者Ruby语法,来使用Logstash则可以做更多的自定义的处理任务
案例(四)使用codec+multiline来处理跨行的日志
什么场景下,需要使用multiline插件呢? 最常见的就是我们的log4j里面的记录的java程序发生异常时,经常
会抛出一大堆异常,如下:
注意这么多行日志,从业务角度来讲,它是一行的,如果默认我们不做任何处理,logstash就会把它解析成多个事件,这样以来
基本上偏离了我们预期的设想,那么该如何处理呢?
方法(1):
在input阶段的编码过程中,加入正则判断:
方法(2):
还是在input阶段,但是使用的触发模式,直到遇到下一行日志前,把这一行与下一行之间的所有内容都当成是一行,这种做法比较简单,优点时在性能与准确度上可能会比上一个方法好,但是缺点是,必须有下一行日志产生,当前的这一行日志,才能被收集完毕 !
参考文章:http://blog.sematext.com/2015/05/26/handling-stack-traces-with-logstash/
案例(五)使用mutate+gsub来去除一些字段里面的换行符
- mutate {
- gsub => [ "message", "\r", "" ]
- }
0 0
- 分布式日志收集之Logstash 笔记(二)
- 分布式日志收集之Logstash 笔记(二)
- Logstash学习8_分布式日志收集之Logstash 笔记(二)
- 分布式日志收集之Logstash 笔记(一)
- 分布式日志收集之Logstash 笔记(一)
- 分布式日志收集之Logstash 笔记(一)
- logstash实现分布式日志收集
- Logstash收集Syslog日志
- Logstash日志收集实践
- ELK日志处理之使用logstash收集log4J日志
- ELK日志处理之使用logstash收集log4J日志
- ELK日志处理之使用logstash收集log4J日志
- ELK日志收集系统调研(二)---LogStash Shipper&Indexer
- Logstash -- Nginx 日志收集处理!
- logstash+kafka 文件日志收集
- logstash与filebeat收集日志
- 分布式日志收集系统: Facebook Scribe之日志收集方案
- 使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。
- <c:foreach>循环计算
- jsp前端页面无法展示但不报错
- VSS技巧:搜索所有签出的文件(查看所有签出文件)
- linux中设备的访问
- 做测试要升级就要考这些证书
- 分布式日志收集之Logstash 笔记(二)
- Contribute checker for error-prone
- 界下科技:支付宝牵头成立无现金联盟 未来两年60亿推进无现金
- 黑客帝国_屏幕保护程序
- mydac 7.6.1.1 for delphi 10.1 berlin
- Boolan C++面向对象高级编程(上)第一周作业
- thinkphp有条件的查找数据库里的数据,用 where 查找
- 敏捷开发——硝烟中的Scrum和XP
- Django model字段类型清单