elk日志分析服务器部署

elk日志分析服务器

标签（空格分隔）： 服务器

---

安装java套件

yum -y install java-1.8.0或者yum install java-1.8.0-openjdk

elasticsearch-5.3.2.tar 的安装（不能使用root用户运行） 下载地址

1、elasticsearch解压至/etc/local（目录随自己）2、修改/etc/sysctl.conf 在末尾添加vm.max_map_count=400000然后执行sysctl -p3、切换到普通用户。之后把elasticsearch文件夹设置为普通用户权限，4、修改配置文件    vi config/elasticsearch.yml    修改如下参数    cluster.name: xxx    node.name: xxx    network.host: 192.168.1.XX5、修改内存 修改目录下 config/jvm.options把内存设置成1G    -Xms1g    -Xmx1g修改之后 ./elasticsearch启动服务器。默认使用9200端口，

kibana-5.3.2-linux-x86_64.tar 安装 下载地址

1、文件解压至解压至/etc/local（目录随自己）2、修改如下参数    server.port: 5601    server.host: "192.168.1.xx"    elasticsearch.url: "http://192.168.1.xx:9200"3、运行 ./bin/kibana启动服务。

修改nginx.conf配置文件

名字que360保持统一====================== nginx.conf ======================http {    log_format que360 '$remote_addr - $remote_user [$time_local] $http_host '                      '"$request_method $http_host$request_uri $server_protocol" '                      '$status $body_bytes_sent $request_time '                      '"$http_referer" "$http_user_agent"';}server {    access_log /var/log/que360/access.log que360;}nginx -s reload 重载nginx服务

filebeat-5.3.2-linux-x86_64.tar 安装 下载地址

1、filebeat安装在被监控的主机上（也必须要安装在容器里面，否则无法更新）2、filebeat-5.3.2-linux-x86_64.tar解压到/etc/local/3、修改配置    filebeat.prospectors:- input_type: log  document_type: nginxacclog  paths:    - /var/log/nginx/access.log     #nginx日志目录，根据实际情况设置output.logstash:                    #output.logstash需要配置    hosts: ["192.168.10.11:5044"]    index: filebeat       #Elasticsearch output 相关配置，需要注释，否则无法上传日志

…

logstash-5.3.2.tar安装

下载地址

1、logstash-5.3.2.tar解压至/etc/local/2、在logstash目录bin目录下新增配置文件 logstash.conf     input {    beats {      host => "192.168.1.XX"      port => 5044    } }filter {     grok {            match => {                "message" => "%{IP:remove_addr} - (%{USERNAME:remote_user}|-) \[%{HTTPDATE:time_local}\] (%{HOSTNAME:http_host}|-) \"(?:%{WORD:verb} (?<request>[^\?]*)(?:\?%{NOTSPACE:args})? (HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:status:int} %{NUMBER:body_bytes_sent:int} %{NUMBER:request_time:float} \"(%{GREEDYDATA:http_referer}|-)\" \"(%{GREEDYDATA:http_user_agent}|-)\""            }     }     date {        match => ["time_local", "dd/MMM/yyyy:hh:mm:ss Z"]        locale => "en"     }}output {    elasticsearch {        hosts => ["192.168.1.XX:9200"]        index => "logstash-%{type}-%{+YYYY.MM.dd}"        document_type => "%{type}"        flush_size => 200        idle_flush_time => 1        sniffing => true        template_overwrite => true    } }3、在bin目录执行如下命令启动  ./logstash -f logstash.conf