Springboot+logback集成ELK处理日志实例

一. 背景

ELK官网

最近把我们的项目从cloud foundry迁移到了K8S，但是公司的容器系统才出现没多久，还不是很成熟，所以我们就用了公司的K8S集群，其他的自己去搞下，日志就是一个很大的问题，容器内部的日志真不是给人看的。调研了下，主流还是elk。正好项目中的全文检索使用的elasticsearch,另外在集成logstash+kibana就可以了。elk的安装教程，自行百度，注意版本依赖问题。（elasticsearch 2.*和5.0以上差别很大）
我用的是直接读取控制台输出的方式，也可以用读取文件的方式，不过个人觉得对于docker来说，直接读取输出比较方便

架构图：

有很多方案：
这里演示的是最简单的一种，生产中最好加上filebeat收集，再加上redis或kafka做个缓冲、
（后续文章会加上）

步骤：
1. 修改项目
2. 配置logstash
3. 配置kinaba

二. 修改项目

添加pom

        <dependency>            <groupId>net.logstash.logback</groupId>            <artifactId>logstash-logback-encoder</artifactId>            <version>4.9</version>        </dependency>

修改logback配置

    <appender name="LOGSTASH"        class="net.logstash.logback.appender.LogstashTcpSocketAppender">        <destination>localhost:9601</destination>        <!-- encoder必须配置,有多种可选 -->        <encoder charset="UTF-8"            class="net.logstash.logback.encoder.LogstashEncoder" >            <!-- "appname":"yang_test" 的作用是指定创建索引的名字时用，并且在生成的文档中会多了这个字段  -->             <customFields>{"appname":"yang_test"}</customFields>        </encoder>    </appender>    <root level="INFO">        <appender-ref ref="LOGSTASH" />    </root>

也就是添加个输出地方，输出到localhost:9601，这个是logstash开放的端口，自己根据自己的机器设定

以上就是项目要改动地方了，是不是很容易。

三. 配置logstash

下载地址：官网
1. 添加配置std_std_es.conf

input {    tcp {      ##host:port就是上面appender中的 destination，这里其实把logstash作为服务，开启9601端口接收logback发出的消息          host => "localhost"          port => 9601      #模式选择为server          mode => "server"          tags => ["tags"]      ##格式json          codec => json_lines             }  } output {        elasticsearch {        #ES地址                hosts => "127.0.0.1:9200"        #指定索引名字，不适用默认的，用来区分各个项目                index => "%{[appname]}-%{+YYYY.MM.dd}"        }        stdout { codec => rubydebug}}

注意：yaml中不要用TAB，用空格，不然启动会报错

2. 启动logstash

#进去logstash的binlogstash -f std_std_es.conf

四. 配置kinaba

下载地址：官网
1. 修改配置kibana.yml

#名server.name: "hero-kibana"#ES地址elasticsearch.url: "http://localhost:9200/"

2. 启动

Run bin/kibana (or bin\kibana.bat on Windows)

3. 配置logstash
logstash默认的索引就是logstash-*

五. 测试

1. 测试代码

@RunWith(SpringRunner.class)@SpringBootTestpublic class Test {    // 定义一个全局的记录器，通过LoggerFactory获取    private final static Logger log = LoggerFactory.getLogger(Test.class);    @Before    public void setUp() {    }    @org.junit.Test    public void test() {        log.trace("trace 成功了");        log.debug("debug 成功了");        log.info("info 成功了");        log.warn("warn 成功了");        log.error("error 成功了");    }}

执行后logstash的终端

查看kibana

右上角可以设置时间，自动刷新间隔等
KIBANA具体怎么玩，点点就会啦~

---

到此结束啦，有很多地方需要去优化，不定期更新~~~~