Centos6.5 logStash+redis抽取syslog日志

来源：互联网发布：人工智能的好处和坏处编辑：程序博客网时间：2024/05/24 00:17

1、安装Java运行环境jre

2、安装配置Redis

2、安装配置logStash

①官网下载相应的安装包 logstash-5.4.0.tar.gz 官网下载地址放到 /usrlocal/src 目录下

②在src目录下进行解压： tar -xzvf logstash-5.4.0.tar.gz -C ../

③进入解压后的目录cd /usr/local/logstash-5.4.0 ，测试：bin/logstash -e 'input { stdin { } } output { stdout {} }'

在出现Successfully started Logstash API endpoint {:port=>9600} 后，输入Hello World

出现2017-05-22T08:03:19.686Z 0.0.0.0 Hello World! 表示成功！

3、抽取syslog(input syslog)

①在logstash-5.4.0目录下创建文件夹mkdir conf 存放配置文件

②新建TestRedis.conf文件放入 conf 目录下

input { syslog{#host => "192.168.24.56"port => 514codec => plain {        charset => "UTF-8"     }} } filter {    grok {        match => {        "message"=>"%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} )"        }    }    kv {                source => "request"                field_split => "&?"                value_split => "="        }　　#再单独将取得的URL、request字段取出来进行key-value值匹配，需要kv插件。提供字段分隔符"&?"，值键分隔符"="，则会自动将字段和值采集出来。    urldecode {        all_fields => true    }　　#把所有字段进行urldecode（显示中文）}output {redis {host => "192.168.12.113"password => "admin"port => 6379db => 10data_type => "list"key => "logstash-chan-%{+yyyy.MM.dd}"}}

③在/usr/local/logstash-5.4.0 目录下运行 bin/logstash -f conf/TestRedis.conf

注：logStash官方文档：https://www.elastic.co/guide/en/logstash/current/index.html

参考文档：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html

阅读全文

0 0