第一节 elk日志分析 大数据日志 win7 64位搭建elk
来源:互联网 发布:淘宝衣服商城男装 编辑:程序博客网 时间:2024/06/10 04:41
一 ELK 背景
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的 syslog ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep 、 awk 和 wc 等 Linux 命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的 syslog ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep 、 awk 和 wc 等 Linux 命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
二 ELK 简介
ELK 是ElasticSearch、Logstash和Kibana三个应用的缩写。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用;
Elasticsearch是个开源分布式搜索引擎,其特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful风格接口,多数据源,自动搜索负载等;Kibana也是一个开源和免费的工具,可以为Logstash和ElasticSearch提供的日志分析友好的Web界面,可以帮助汇总、分析和搜索重要数据日志。真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。
在需要收集日志的所有服务上部署logstash ,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到logstash indexer , logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ,可以用 ElasticSearch进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用;
Elasticsearch是个开源分布式搜索引擎,其特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful风格接口,多数据源,自动搜索负载等;Kibana也是一个开源和免费的工具,可以为Logstash和ElasticSearch提供的日志分析友好的Web界面,可以帮助汇总、分析和搜索重要数据日志。真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。
在需要收集日志的所有服务上部署logstash ,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到logstash indexer , logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ,可以用 ElasticSearch进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。
三ELK 架构图
以上是elk简介,下节搭建环境
0 0
- 第一节 elk日志分析 大数据日志 win7 64位搭建elk
- ELK 日志分析平台搭建
- ELK 日志分析平台搭建
- ELK日志分析系统搭建
- ELK日志分析系统搭建
- ELK 日志分析平台搭建
- ELK日志分析系统搭建
- ELK日志分析系统搭建
- 搭建日志分析系统ELK
- ELK(一)ELK日志收集分析系统环境搭建
- 搭建ELK日志系统
- ELk日志系统搭建
- elk 日志分析系统
- ELK -分析nginx 日志
- ELK 实时日志分析
- ELK 日志分析系统
- ELK 日志分析系统
- ELK日志分析系统
- struts2的action与jsp之间传递参数
- 用栈解决约瑟夫环
- HDU 4727 The Number Off of FFF
- javaswing写简单的Helloworld界面
- linux下 两种模式的切换
- 第一节 elk日志分析 大数据日志 win7 64位搭建elk
- Spark运行脚本解析 - start-all.sh
- jQuery事件对象的属性
- What is Wineskin?
- STM32的NVIC_PriorityGroupConfig使用
- iOS收键盘
- C#集合之Stack
- Java 8新特性探究(十三):JavaFX 8新特性以及开发2048游戏
- mysql存储过程语法及实例