flume 自定义拦截器实现多行读取日志

需求

给定一个日志文件，把日志中DEBUG、INFO、WARN、ERROR日志按照不同文件夹、日志日期进行区分。输出到HDFS中
例：2016-07-08 09:33:52 INFO 日志，需要放在hdfs://flume/2016-07-08/INFO文件夹下。

解决办法

1.
使用Spooling Directory Source 读取日志文件
Spooling Directory Source 可以监测配置的目录下新增的文件，并将文件中的数据读取出来。

2.
使用Regex Filtering Interceptor 拦截器（a1.sources.r1.interceptors.i1.type =regex_filter）从每行日志中抽取时间和日志类型信息

使用RegexExtractorInterceptorMillisSerializer将抽取出的时间信息根据指明的格式转为时间戳，写入到header中，key为timestamp，将类型信息写入到header中，key为type

3.
hdfs sink从header中取出时间戳和日志类型信息，将日志输出到对应的hdfs目录

关键问题

flume读取日志是按行读取，无法进行多行读取，当出现如下日志时将无法读到日志的正确时间与类型信息,所以我们需要有一种可以多行读取日志信息的办法,这里采用自定义拦截器的方法

2016-07-28 15:49:05-[Analysis-WC] ERROR [http-8080-2] ControllerProxy.afterMethod(43) | java.lang.NullPointerExceptionjava.lang.NullPointerException    at com.ap.alt.system.web.LoginMgrController.getSumMXYJTC(LoginMgrController.java:304)    at sun.reflect.GeneratedMethodAccessor33.invoke(Unknown Source)    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)    at java.lang.reflect.Method.invoke(Method.java:606)

自定义拦截器

只修改public List intercept(List events)方法,该方法对读取到的每行event,调用public Event intercept(Event event)方法进行相关操作
不修改public Event intercept(Event event)方法,该方法完成指定的正则匹配,并使用serializer添加匹配的内容到header等工作
对event列表进行遍历,对每个event进行正则匹配
若匹配成功说明该event是单行日志或多行日志的开始行,可以调用public Event intercept(Event event)从中提取出时间和类型信息,添加到该event的header中
若匹配失败说明该event属于上一个event的日志内容,应将它的body和上一个event的body连接到一起,并在返回event列表时舍弃这一event
关键代码

 public List<Event> intercept(List<Event> events) {    List<Event> intercepted = Lists.newArrayListWithCapacity(events.size());    int addnum=0;//记录上一个正确匹配的event在队列中的位置,以便下一event有和它连接的需要    for(int i=0;i<events.size();i++){        Event interceptedEvent=null;        Matcher matcher=regex.matcher(                new String(events.get(i).getBody(), Charsets.UTF_8));        if(matcher.find()){            interceptedEvent = intercept(events.get(i));              intercepted.add(interceptedEvent);              addnum=i;//更新正确匹配的event在队列中的位置        }else{             String body=new String(intercepted.get(addnum).getBody(), Charsets.UTF_8)+"\n"+new String(events.get(i).getBody(), Charsets.UTF_8);             intercepted.get(addnum).setBody(body.getBytes());        }    }    return intercepted;  }

jar包放到flume的lib文件夹下，在conf文件中需要使用的type后填写包名类名
完整代码+测试文件–>自定义拦截器

conf文件

#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spoolDira1.sources.r1.spoolDir=/tmp/logsa1.sources.r1.channels = c1a1.sources.r1.interceptors = i1 i2#匹配时间并转换为时间戳到header中a1.sources.r1.interceptors.i1.type = org.my.flume.myinterceptor.multinterceptor$Buildera1.sources.r1.interceptors.i1.regex = (((?!0000)[0-9]{4}-((0[1-9]|1[0-2])-(0[1-9]|1[0-9]|2[0-8])|(0[13-9]|1[0-2])-(29|30)|(0[13578]|1[02])-31)|([0-9]{2}(0[48]|[2468][048]|[13579][26])|(0[48]|[2468][048]|[13579][26])00)-02-29))a1.sources.r1.interceptors.i1.serializers = s1a1.sources.r1.interceptors.i1.serializers.s1.type = org.apache.flume.interceptor.RegexExtractorInterceptorMillisSerializera1.sources.r1.interceptors.i1.serializers.s1.name = timestampa1.sources.r1.interceptors.i1.serializers.s1.pattern = yyyy-MM-dd# 匹配日志类型到header中a1.sources.r1.interceptors.i2.type = org.my.flume.myinterceptor.multinterceptor$Buildera1.sources.r1.interceptors.i2.regex = (\INFO|\DEBUG|\WARN|\ERROR)a1.sources.r1.interceptors.i2.serializers = s2a1.sources.r1.interceptors.i2.serializers.s2.name = type# Describe the sinka1.sinks.k1.type = hdfsa1.sinks.k1.channel = c1a1.sinks.k1.hdfs.path =/flume/%Y-%m-%d/%{type}a1.sinks.k1.hdfs.fileType=DataStream#######下面是配置输出日志文件按大小分割，超过1M自动滚动到下一文件a1.sinks.k1.hdfs.rollSize=1024000a1.sinks.k1.hdfs.rollInterval=0a1.sinks.k1.hdfs.rollCount=0a1.sinks.k1.hdfs.idleTimeout=0a1.sinks.k1.hdfs.minBlockReplicas=1# Use a channel which buffers events inmemorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100

注意：Flume使用自定义拦截器jar包，要在type值后加$Builder，否则会报InstantiationException错误
遇见的问题：使用Flume官方文档的正则表达式出现问题，不能识别\d或\d，效果为查找d这个字母，同理\XXX会查找XXX，暂未找到解决办法，所以在这里使用了较复杂的日期验证正则表达式

启动flume

# flume-ng agent -c conf -f conf/my.conf -n a1 -Dflume.root.logger=INFO,console