Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！

http://www.elasticsearch.org/overview/elkdownloads/

Logstash是什么

大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

现在的应用通常以分布式的服务为主，一个流程调用这里一个服务，那里一个服务，当问题发生的时候，排查上比较困难，你必须得在每台相关的服务器上看日志，过程比较花时间。

以往有syslogd等工具可以汇总到一台机器，但都是以文件方式，搜索不方便。Logstash可配置输出到ElasticSearch服务帮忙做搜索功能，可以做到实时的关键字搜索，作为系统管理员，这个配置非常方便。

Logstash有相当多的渠道去获取Log，得到原始Log之后，可以配置做一下格式的转换，把关键的信息抽取出来，再输出到不同的地方，而ElasticSearch只是其中之一。

目前个人觉得比较方便的界面是Kibana，Kibana是一个比较友好的界面去看到在ElasticSearch上面的Log。

实际用例

在Java开发中，不少人会用到Logback作为日志的工具，由于Logback目前没有渠道直接把Log发到Logstash上，我就做了一个Appender，通过Redis以JSON格式把Log发布到Logstash里。达到的效果是，只要改改logback的配置，就可以把所有应用的Log汇聚在Logstash上。

前期准备：

• Redis服务器，可以与Logstash在同一台服务器
• Logstash＋ElasticSearch＋Kibana：安装过程参考官方文档

配置logback，需要一个转接的Appender，可以通过Maven依赖加到项目中：

<dependency>  <groupId>com.cwbase</groupId>  <artifactId>logback-redis-appender</artifactId>  <version>1.0.0</version></dependency>

非Maven（如Scala）就要按情况改变一下。

配上对应的logback.xml（或者相应的配置文件）

<configuration>  <appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender">    <source>YOUR_APPLICATION_NAME</source>    <type>test</type>    <host>YOUR_REDIS_SERVER</host>    <key>logstash</key>   <!-- 这个Key是Redis List的Key，需要和Logstash读取Redis的Key匹配 -->    <tags>test</tags>    <mdc>true</mdc>    <location>true</location>    <callerStackIndex>0</callerStackIndex>  </appender>  <root level="DEBUG">    <appender-ref ref="LOGSTASH" />  </root></configuration>

每一个配置项可以参考项目的说明 https://github.com/kmtong/logback-redis-appender

简单的 Logstash Input 配置：http://www.logstash.net/docs/1.4.2/inputs/redis

input {  redis {    host => 'YOUR_REDIS_SERVER',    key => 'logstash',    data_type => 'list',    format => 'json_event'    # password => ... # password (optional)    # port => ... # number (optional), default: 6379    # tags => ... # array (optional)    # type => ... # string (optional)  }}

现在就可以享受中央储存和搜索Log的好处了。