ELK的搭建实践

ELK搭建

1.  日志服务的架构图

2.  下载解压

logstash下载：wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz

解压：tar vxf logstash-2.3.4.tar.gz

 

Redis下载：自己去网上下吧，这里用的是3.2.0

解压：tar vxf ……

 

kibana下载：自己去网上下吧，这里用的是4.5.1

解压：tar vxf ……

 

3.  搭建logstash的中心服务器

3.1             安装redis

解压：tar vxf redis-3.2.0.tar.gz

建引用：ln -s redis-3.2.0.tar.gz redis

编译： cd redis-3.2.0;  makePREFIX=/home/itest/software/redis install 中间的目录自定义

拷贝配置文件：cp ../redis-3.2.0/redis.conf . ,然后修改配置中的 daemonize 为 yes，同时可以修改它的配置文件 logfile的值。

运行：./bin/redis-server ./redis.conf

停止：./bin/redis-cli shutdown

打开端口6379：如果需要的话

3.2             安装redis 端的logstash

这个是解压可用的，主要在配置文件的配置上，参考配置文件如下：logstash_redis.conf，

注意：这里的输入就是redis，输出就是es了。

input {

  file {

    type => "log85"

    start_position => "end"

    path => ["/home/itest/new_fb_scorpio/log/*.log" ]

    sincedb_path =>"/home/itest/software/logstash/sincedb-access"

    ignore_older => 86400

    discover_interval => 5

  }

}

 

output {

  redis {

    host => "xx.xx.xx.xx"

    port => "6379"

    data_type => "list"

    key => "logstash:redis"

  }

}

配置测试：./bin/logstash --configtest ./logstash_redis.conf

启动：nohup ./bin/logstash  -flogstash_redis.conf > logstash.log &

停止：直接 kill 吧

3.3             安装elasticsearch

参照这个家伙的单独安装文档吧，现在没有将来也会有的

3.4             安装kibala

安装应该是解压就可以用的

启动：./bin/kibana

停止：需要注意的是除了 kill 掉 kibana进程意外还需要kill掉相关的nodejs进程

3.5             安装shipper端的logstash

主要也是配置文件，例如：logstash_agent.conf

主要修改的是 file中的源文件路径，如果想简单的调试可以在output段中添加 stdout { }来添加一个标准输出的目标

 

input {
  file {
    type => "log205"
    start_position => "end"
    path => [ "/root/scorpio_job/log/*.log" ]
    sincedb_path => "/home/software/logstash/sincedb-access"
    ignore_older => 86400
    discover_interval => 5
  }
}

filter {
  multiline {
    pattern => "^\[20"
    negate => true
    what => "previous"
  }
}

output {
  redis {
    host => "xx.xx.xx.xx"
    port => "6379"
    data_type => "list"
    key => "logstash:redis"
    password => "wMQxo8VWHfnvxi6J"
  }
}

启动：./bin/logstash-f logstash_agent.conf

停止：直接 kill

4.  搭建supervisor

这是一个很牛逼的管理linux进程的东西，亲测好用。

安装：sudo pip install supervisor

配置： 先生成echo_supervisord_conf > /etc/supervisord.conf

                   再添加：尾部添加，例如logstash的agent可以这样配置

[program:logstash-agent]

command=/home/itest/software/logstash/bin/logstash-f /home/itest/software/logstash/logstash_agent.conf -l /home/itest/software/logstash/logstash.log

log_stderr=true

启动：supervisord

控制：supervisorctl  启动之后里边的命令可以help