logstash导入日志并用Kibana可视化展示(6.0版本)

来源：互联网发布：淘宝怎么养小号编辑：程序博客网时间：2024/05/21 10:14

效果

可视化数据

配置logstash

管道配置

新建文件filebeats.conf

input {   #beats {   #  port => 5044   #}   file {     path => [ "/usr/local/logstash/data/access.log" ]     start_position => "beginning"     ignore_older => 0   }  } filter {     grok {      match => {"message" => "%{COMBINEDAPACHELOG}"}     }     geoip {       source => "clientip"       target => "geoip"       #database => "/usr/local/logstash/GeoLiteCity.dat"       add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}"]       add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}"]     }     mutate {       convert => ["[geoip][coordinates]", "float"]       convert => ["response","integer"]       convert => ["bytes","integer"]       replace => {"type" => "nginx_access"}       remove_field => "message"     }     date {       match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]     }     mutate {       remove_field => "timestamp"     } } output {   elasticsearch {   index => "logstash-nginx-access-%{+YYYY.MM.dd}"   hosts => ["192.168.0.166:9200"]   user => "elastic"   password => "*cn94mJ?1234~@1="   }   stdout {codec => rubydebug} }

这个配置文件只是针对一个日志文件，如果想要收集多台机器上的日志数据，可以使用Beats。

安装logstash配置文件里的插件

bin/logstash-plugin install logstash-filter-grokbin/logstash-plugin install logstash-filter-geoipbin/logstash-plugin install logstash-filter-mutatebin/logstash-plugin install logstash-filter-date

启动

bin/logstash -f filebeats.conf

配置Kibana

登陆Kibana(http://localhost:5601)，在Management里面，新建一个Index Patterns，注意timestamp格式为data。

然后就可以在Visualize里就可以新建自己想要的数据展现形式了，有柱状图，饼图。。。

最后可以把上一部新建的图标集中放在Dashboard里面了。

参考：

grok
grokdebug
mutate
geoip
date
Kibana

阅读全文

1 0