Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！

http://www.elasticsearch.org/overview/elkdownloads/

Logstash是什么

大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

现在的应用通常以分布式的服务为主，一个流程调用这里一个服务，那里一个服务，当问题发生的时候，排查上比较困难，你必须得在每台相关的服务器上看日志，过程比较花时间。

以往有syslogd等工具可以汇总到一台机器，但都是以文件方式，搜索不方便。Logstash可配置输出到ElasticSearch服务帮忙做搜索功能，可以做到实时的关键字搜索，作为系统管理员，这个配置非常方便。

Logstash有相当多的渠道去获取Log，得到原始Log之后，可以配置做一下格式的转换，把关键的信息抽取出来，再输出到不同的地方，而ElasticSearch只是其中之一。

目前个人觉得比较方便的界面是Kibana，Kibana是一个比较友好的界面去看到在ElasticSearch上面的Log。

实际用例

在Java开发中，不少人会用到Logback作为日志的工具，由于Logback目前没有渠道直接把Log发到Logstash上，我就做了一个Appender，通过Redis以JSON格式把Log发布到Logstash里。达到的效果是，只要改改logback的配置，就可以把所有应用的Log汇聚在Logstash上。

前期准备：

• Redis服务器，可以与Logstash在同一台服务器
• Logstash＋ElasticSearch＋Kibana：安装过程参考官方文档

配置logback，需要一个转接的Appender，可以通过Maven依赖加到项目中：

[html] view plain copy

1. <dependency>  
2.   <groupId>com.cwbase</groupId>  
3.   <artifactId>logback-redis-appender</artifactId>  
4.   <version>1.0.0</version>  
5. </dependency>  

非Maven（如Scala）就要按情况改变一下。

配上对应的logback.xml（或者相应的配置文件）

[html] view plain copy

1. <configuration>  
2.   <appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender">  
3.     <source>YOUR_APPLICATION_NAME</source>  
4.     <type>test</type>  
5.     <host>YOUR_REDIS_SERVER</host>  
6.     <key>logstash</key>   <!-- 这个Key是Redis List的Key，需要和Logstash读取Redis的Key匹配 -->  
7.     <tags>test</tags>  
8.     <mdc>true</mdc>  
9.     <location>true</location>  
10.     <callerStackIndex>0</callerStackIndex>  
11.   </appender>  
12.   
13.   <root level="DEBUG">  
14.     <appender-ref ref="LOGSTASH" />  
15.   </root>  
16.   
17. </configuration>  

每一个配置项可以参考项目的说明 https://github.com/kmtong/logback-redis-appender

简单的 Logstash Input 配置：http://www.logstash.net/docs/1.4.2/inputs/redis

[ruby] view plain copy

1. input {  
2.   redis {  
3.     host => 'YOUR_REDIS_SERVER',  
4.     key => 'logstash',  
5.     data_type => 'list',  
6.     format => 'json_event'  
7.     # password => ... # password (optional)  
8.     # port => ... # number (optional), default: 6379  
9.     # tags => ... # array (optional)  
10.     # type => ... # string (optional)  
11.   }  
12. }  

现在就可以享受中央储存和搜索Log的好处了。