Spring Boot与Logstash整合

来源：互联网发布：软文发布系统源码编辑：程序博客网时间：2024/06/04 20:11

ELK可以说是当前对分布式服务器集群日志做汇总、分析、统计和检索操作的很好的一套系统了。而Spring Boot作为一套为微服务而生的框架，自然也免不了处理分布式日志的问题，通过ELK日志系统来处理日志还是很有意义的。在这套系统中，E即为ElasticSearch，负责日志存储；L为LogStash，负责日志收集，并将日志信息写入ElasticSearch，K则为Kibana，负责将ElasticSearch中的日志数据进行可视化及分析检索操作。可以说将Spring Boot与ELK整合很大程度上相当于将Spring Boot与Logstash进行整合。将那么如何将Spring Boot与LogStash整合起来呢？

在Spring Boot当中，默认使用logback进行log操作。和其他日志工具如log4j一样，logback支持将日志数据通过提供IP地址、端口号，以Socket的方式远程发送。在Spring Boot中，通常使用logback-spring.xml来进行logback配置。

要想将logback与Logstash整合，必须引入logstash-logback-encoder包。该包的依赖如下：

<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>4.9</version></dependency>

将依赖添加好之后，就可以进行logback的配置了。logback-spring.xml配置如下：

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE configuration><configuration>    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">        <destination>192.168.226.132:4560</destination>        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />    </appender>    <include resource="org/springframework/boot/logging/logback/base.xml"/>    <root level="INFO">        <appender-ref ref="LOGSTASH" />        <appender-ref ref="CONSOLE" />    </root></configuration>

logback的基础配置不多说，百度谷歌上一大把，这里我们只讨论与Logstash相关的部分。在上面的XML文件中的第4行至第7行即为Logstash的配置。destination为日志的发送地址，在配置Logstash的时候选择监听这个地址即可进行日志收集。这里我把Logstash部署在了本地的虚拟机上（其地址就是192.168.226.132），端口为4560。当然这里你需要把地址改成你自己的。下面的encoder是必选项。第9行到第14行则是为了保证Spring Boot原始的日志配置不被覆盖。这里logback配置完毕。

Logstash方面，在安装目录下新建一个文件夹conf，在conf文件夹下创建文件logstash-springboot.conf，内容如下：

input {    tcp {        port => 4560   //从本地的4560端口取日志。这里笔者将Logstash部署在了虚拟机192.168.226.132上，所以取的是本地地址。        codec => json_lines  //需要安装logstash-codec-json_lines插件    }}output{  elasticsearch { hosts => ["localhost:9200"] }  //输出到ElasticSearch  stdout { codec => rubydebug }  //若不需要在控制台中输出，此行可以删除}

如果你的Logstash没有安装logstash-codec-json_lines插件，通过以下命令安装：

bin/plugin install logstash-codec-json_lines

大功告成！最终效果如下：

{     "@timestamp" => "2017-04-23T06:14:52.734Z",       "@version" => 1,        "message" => "Tomcat started on port(s): 8000 (http)",    "logger_name" => "org.springframework.boot.context.embedded.tomcat.TomcatEmbeddedServletContainer",    "thread_name" => "main",          "level" => "INFO",    "level_value" => 20000,       "HOSTNAME" => "bogon",           "host" => "192.168.226.1",           "port" => 56168}{     "@timestamp" => "2017-04-23T06:14:52.744Z",       "@version" => 1,        "message" => "Initialize complete! I am init runner.",    "logger_name" => "org.fhp.springbootdemo.controller.InitRunner",    "thread_name" => "main",          "level" => "INFO",    "level_value" => 20000,       "HOSTNAME" => "bogon",           "host" => "192.168.226.1",           "port" => 56168}{     "@timestamp" => "2017-04-23T06:14:52.749Z",       "@version" => 1,        "message" => "MDC complete!IP=bogon",    "logger_name" => "org.fhp.springbootdemo.controller.InitRunner",    "thread_name" => "main",          "level" => "INFO",    "level_value" => 20000,       "HOSTNAME" => "bogon",             "ip" => "bogon",           "host" => "192.168.226.1",           "port" => 56168}

参考：https://github.com/logstash/logstash-logback-encoder

0 0