ELK 日志分析系统（一）

1.背景

日志介绍

　软件中的日志主要包括：系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
　通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

2.ELK介绍

　开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kibana三个开源工具组成。
　

2.1.定义

• Elasticsearch

  　是个开源分布式搜索引擎,它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。简单地说： 存储各类日志；

• Logstash

  　是一个完全开源的工具,它可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。简单地说：用来搜集日志；

• kibana

  　是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。简单地说：用作查寻和可视化日志；

2.2.关系

3.环境搭建

3.1.环境配置

宿主系统：macOs
虚拟机：Parallels Desktop
虚拟机系统：CentOS-7.0
JDK: jdk-8u131-linux-x64
Elasticsearch: elasticsearch-5.4.2
Logstash: logstash-5.4.2
Kibana: kibana-5.4.2-linux-x86_64
其它：
node: node-v8.1.2-linux-x64
git: 1.8.3.1

3.2.搭建linux

　直接在虚拟机 parallels desktop安装linux镜像，为了宿主和linux正常使用HTTP服务等，暂时需要关闭防火墙。
　
CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙步骤。
1、关闭firewall：


systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

3.3.安装jdk

确定下当前linux是否有默认jdk，如果有，可以选择卸载
命令：

3.3.1.查看Jdk的安装路径

whereis java
which java （java执行路径）
echo $JAVA_HOMEecho $PATH

3.3.2.卸载旧版本的JDK

• 3.3.2.1.确定JDK的版本

rpm -qa | grep jdkrpm -qa | grep gcj

可能的结果是：
libgcj-4.1.2-42.el5 
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

• 3.3.2.2.然后卸载

 yum -y remove java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

3.3. 安装jdk步骤

3.3.1.在usr目录下建立java安装目录

• 创建jdk的解压目录

  sudo mkdir /usr/java（sudo sudo命令系统安全 sudo命令用来以其他身份来执行命令，预设的身份为root）
  cd /usr
/java


  将jdk-8u60-linux-x64.tar.gz拷贝到java目录下
  
cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/

2.3.3.

• 解压jdk到当前目录
  tar -zxvf jdk-8u60-linux-x64.tar.gz
得到文件夹 jdk1.8.0_60


3.3.2.编辑配置文件，配置环境变量


vim /etc/profile

添加如下内容：

JAVA_HOME根据实际目录来


JAVA_HOME=/usr/java/jdk1.8.0_60
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH


3.3.3.重启机器或执行命令 source /etc/profile


sudo shutdown -r now（重启linux系统命令）
2.3.5.查看安装情况

3.3.4.验证

java -version


java version “1.8.0_60”
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) Client VM (build 25.60-b23, mixed mode)