Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
来源:互联网 发布:js去除disabled属性 编辑:程序博客网 时间:2024/05/22 00:42
前言:
随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。哈哈 以上都是新浪的信息~不是我们小公司的分析业务规模。
当然为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这个过程通常包括数据采集,清洗,建模,分析,报表等。接下来在本篇文章中,将会构建一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统。
平台架构:
nginx作为前端服务器 生成业日志,logstash实时的从业务日志中数据数据(可以进行响应的过滤,一个Logstash进程可以有多个输入源,所以一个Logstash进程可以应付一台服务器上的所有日志),然后把数据输入到redis中,redis只做消息队列不对消息做处理和存储(Redis是Logstash官方推荐的Broker角色“人选”,支持订阅发布和队列两种数据传输模式),然后redis会把数据转给elasticSearch(同时可以对错误信息进行过滤 发送邮件提醒),elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)
效果展示:
再看一下以前我们是如何查看日志的:
线上日志逐个tail+grep
编写脚本,下载某个时间范围内的全部日志到本地再搜索
tail+grep或者把日志下载下来再搜索,可以应付不多的主机和不多的应用部署场景。但对于多机多应用部署就不合适了。这里的多机多应用指的是同一种应用被部署到几台服务器上,每台服务器上又部署着不同的多个应用。可以想象,这种场景下,为了监控或者搜索某段日志,需要登陆多台服务器,执行多个tail -F和grep命令。一方面这很被动。另一方面,效率非常低,数次操作下来,你心情也会变糟。是不是看的眼花料哦乱~
系统版本 阿里云 centos 6.5 64位
软件版本 (版本更新频繁并且各个软件之间兼容性有问题,主要是elk之间的,经测试一下版本可以使用)
logstash-2.1.1,elasticsearch-2.1.0,redis-2.8.4,kibana-4.3.1-linux-x64
一、安装logstash
linux下 直接 wget https://download.elastic.co/logs … gstash-2.1.1.tar.gz
然后解压 tar -zxvf logstash-2.1.1.tar.gz 即可。
二、安装elasticsearch
linux下安装elasticsearch :http://www.52itstyle.com/thread-20114-1-1.html
三、安装 redis
linux下redis安装和使用:http://www.52itstyle.com/thread-20084-1-1.html
四、安装kibana
linux下安装kibana:http://www.52itstyle.com/thread-20127-1-1.html
以上软件 启动方式见链接。
这里主要说一下 如何收集Tomcat异常日志:
一、比如我们的日志 放在tomcat/log目录下 异常日志格式为
52itstyle_error.2016-03-01.txt #异常信息
二、编写logstash shipper 收集日志信息
input { file { type => "tomcat_itstyle" tags => [ "tomcat_error", "log4j" ] path => "/tomcat7/log/*error*.txt" }}filter { if [type] == "tomcat_itstyle" { grok { match => { "message" => "(?m)%{TIMESTAMP_ISO8601:logtime}" } } multiline { pattern => "^[^\[]" what => "previous" } mutate { split => ["message", "|"] } }}output { stdout { codec => rubydebug } redis { host => "127.0.0.1" port => 6379 data_type => "list" key => "logstash-tomcat-error" password => "123456" db => 0 }}
二、编写logstash indexer整理日志信息
<font size="3">input { redis { host => "127.0.0.1" port => 6379 data_type => "list" key => "logstash-tomcat-error" type => "redis-input" password => "123456" db => 0 }}output { elasticsearch { hosts => ["127.0.0.1:9200"] } exec { #发送错误日志 到指定邮件 command => "echo '%{@timestamp} %{type}: %{message}' | mail -s tomcat_error_message 345849402@qq.com" }}
分别启动 indexer 和 shipper
切换到 logstash/bin 下执行一下命令
./logstash -f indexer.conf &
./logstash -f shipper .conf &
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- Logstash+Redis+Elasticsearch+Kibana 快速搭建Nginx日志查询系统
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(五) 通过redis扩展logstash
- 搭建logstash+kibana+elasticsearch+redis 搜集nginx日志信息
- 使用ELK(logstash,elasticsearch,kibana)+redis搭建nginx日志分析平台
- 使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。
- logstash+elasticsearch+kibana搭建日志收集分析系统
- logstash+elasticsearch+kibana搭建日志收集分析系统
- LEK(logstash, elasticsearch, kibana) 搭建日志分析系统
- Ubuntu 14.04搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)
- Logstash+ElasticSearch+Kibana日志分析系统
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十四) logstash grok 正则解析日志
- ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台-Kibana篇
- ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台-Logstash篇
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十二) kibana 界面使用简介
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十三) kibana 界面查询语法
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(一) Logstash demo演示
- C++第1次实验-1
- swift——图片添加点击事件
- sftp与ftp用法
- c++第1次试验-3
- sfnttool的基本使用方法【很给力的字体抽取工具】
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- .NET程序连接OPC Server时出错 对 COM 组件的调用返回了错误 HRESULT E_FAIL
- Cortex-A8中bootloader研究(1)
- 第一周C语言课堂任务
- text-decoration:none; 为什么不生效
- 《打印行号以及显示行数的不同方法头脑风暴及实践》
- c++第一次试验
- 图形的绘制
- c++第一次实验