flume学习(九):自定义拦截器

来源:互联网 发布:什么是大数据云计算 编辑:程序博客网 时间:2024/05/25 01:35
1.如何添加拦截器RegexExtractorExtInterceptor?
2.改动的内容中是如何增加两个配置参数?








还是针对学习八中的那个需求,我们现在换一种实现方式,采用拦截器来实现。

先回想一下,spooldir source可以将文件名作为header中的key:basename写入到event的header当中去。试想一下,如果有一个拦截器可以拦截这个event,然后抽取header中这个key的值,将其拆分成3段,每一段都放入到header中,这样就可以实现那个需求了。

遗憾的是,flume没有提供可以拦截header的拦截器。不过有一个抽取body内容的拦截器:RegexExtractorInterceptor,看起来也很强大,以下是一个官方文档的示例:
If the Flume event body contained 1:2:3.4foobar5 and the following configuration was used


a1.sources.r1.interceptors.i1.regex = (\\d):(\\d):(\\d)
a1.sources.r1.interceptors.i1.serializers = s1 s2 s3
a1.sources.r1.interceptors.i1.serializers.s1.name = one
a1.sources.r1.interceptors.i1.serializers.s2.name = two
a1.sources.r1.interceptors.i1.serializers.s3.name = three
The extracted event will contain the same body but the following headers will have been added one=>1, two=>2, three=>3

大概意思就是,通过这样的配置,event body中如果有1:2:3.4foobar5 这样的内容,这会通过正则的规则抽取具体部分的内容,然后设置到header当中去。

于是决定打这个拦截器的主义,觉得只要把代码稍微改改,从拦截body改为拦截header中的具体key,就OK了。翻开源码,哎呀,很工整,改起来没难度,以下是我新增的一个拦截器:RegexExtractorExtInterceptor:
  1. package com.besttone.flume;

  2. import java.util.List;
  3. import java.util.Map;
  4. import java.util.regex.Matcher;
  5. import java.util.regex.Pattern;

  6. import org.apache.commons.lang.StringUtils;
  7. import org.apache.flume.Context;
  8. import org.apache.flume.Event;
  9. import org.apache.flume.interceptor.Interceptor;
  10. import org.apache.flume.interceptor.RegexExtractorInterceptorPassThroughSerializer;
  11. import org.apache.flume.interceptor.RegexExtractorInterceptorSerializer;
  12. import org.slf4j.Logger;
  13. import org.slf4j.LoggerFactory;

  14. import com.google.common.base.Charsets;
  15. import com.google.common.base.Preconditions;
  16. import com.google.common.base.Throwables;
  17. import com.google.common.collect.Lists;

  18. /**
  19. * Interceptor that extracts matches using a specified regular expression and
  20. * appends the matches to the event headers using the specified serializers</p>
  21. * Note that all regular expression matching occurs through Java's built in
  22. * java.util.regex package</p>. Properties:
  23. * <p>
  24. * regex: The regex to use
  25. * <p>
  26. * serializers: Specifies the group the serializer will be applied to, and the
  27. * name of the header that will be added. If no serializer is specified for a
  28. * group the default {@link RegexExtractorInterceptorPassThroughSerializer} will
  29. * be used
  30. * <p>
  31. * Sample config:
  32. * <p>
  33. * agent.sources.r1.channels = c1
  34. * <p>
  35. * agent.sources.r1.type = SEQ
  36. * <p>
  37. * agent.sources.r1.interceptors = i1
  38. * <p>
  39. * agent.sources.r1.interceptors.i1.type = REGEX_EXTRACTOR
  40. * <p>
  41. * agent.sources.r1.interceptors.i1.regex = (WARNING)|(ERROR)|(FATAL)
  42. * <p>
  43. * agent.sources.r1.interceptors.i1.serializers = s1 s2
  44. * agent.sources.r1.interceptors.i1.serializers.s1.type =
  45. * com.blah.SomeSerializer agent.sources.r1.interceptors.i1.serializers.s1.name
  46. * = warning agent.sources.r1.interceptors.i1.serializers.s2.type =
  47. * org.apache.flume.interceptor.RegexExtractorInterceptorTimestampSerializer
  48. * agent.sources.r1.interceptors.i1.serializers.s2.name = error
  49. * agent.sources.r1.interceptors.i1.serializers.s2.dateFormat = yyyy-MM-dd
  50. * </code>
  51. * </p>

  52. * <pre>
  53. * Example 1:
  54. * </p>
  55. * EventBody: 1:2:3.4foobar5</p> Configuration:
  56. * agent.sources.r1.interceptors.i1.regex = (\\d):(\\d):(\\d)
  57. * </p>
  58. * agent.sources.r1.interceptors.i1.serializers = s1 s2 s3
  59. * agent.sources.r1.interceptors.i1.serializers.s1.name = one
  60. * agent.sources.r1.interceptors.i1.serializers.s2.name = two
  61. * agent.sources.r1.interceptors.i1.serializers.s3.name = three
  62. * </p>
  63. * results in an event with the the following

  64. * body: 1:2:3.4foobar5 headers: one=>1, two=>2, three=3

  65. * Example 2:

  66. * EventBody: 1:2:3.4foobar5

  67. * Configuration: agent.sources.r1.interceptors.i1.regex = (\\d):(\\d):(\\d)
  68. * <p>
  69. * agent.sources.r1.interceptors.i1.serializers = s1 s2
  70. * agent.sources.r1.interceptors.i1.serializers.s1.name = one
  71. * agent.sources.r1.interceptors.i1.serializers.s2.name = two
  72. * <p>

  73. * results in an event with the the following

  74. * body: 1:2:3.4foobar5 headers: one=>1, two=>2
  75. * </pre>
  76. */
  77. public class RegexExtractorExtInterceptor implements Interceptor {

  78.         static final String REGEX = "regex";
  79.         static final String SERIALIZERS = "serializers";

  80.         // 增加代码开始

  81.         static final String EXTRACTOR_HEADER = "extractorHeader";
  82.         static final boolean DEFAULT_EXTRACTOR_HEADER = false;
  83.         static final String EXTRACTOR_HEADER_KEY = "extractorHeaderKey";

  84.         // 增加代码结束

  85.         private static final Logger logger = LoggerFactory
  86.                         .getLogger(RegexExtractorExtInterceptor.class);

  87.         private final Pattern regex;
  88.         private final List<NameAndSerializer> serializers;

  89.         // 增加代码开始

  90.         private final boolean extractorHeader;
  91.         private final String extractorHeaderKey;

  92.         // 增加代码结束

  93.         private RegexExtractorExtInterceptor(Pattern regex,
  94.                         List<NameAndSerializer> serializers, boolean extractorHeader,
  95.                         String extractorHeaderKey) {
  96.                 this.regex = regex;
  97.                 this.serializers = serializers;
  98.                 this.extractorHeader = extractorHeader;
  99.                 this.extractorHeaderKey = extractorHeaderKey;
  100.         }

  101.         @Override
  102.         public void initialize() {
  103.                 // NO-OP...
  104.         }

  105.         @Override
  106.         public void close() {
  107.                 // NO-OP...
  108.         }

  109.         @Override
  110.         public Event intercept(Event event) {
  111.                 String tmpStr;
  112.                 if(extractorHeader)
  113.                 {
  114.                         tmpStr = event.getHeaders().get(extractorHeaderKey);
  115.                 }
  116.                 else
  117.                 {
  118.                         tmpStr=new String(event.getBody(),
  119.                                         Charsets.UTF_8);
  120.                 }
  121.                 
  122.                 Matcher matcher = regex.matcher(tmpStr);
  123.                 Map<String, String> headers = event.getHeaders();
  124.                 if (matcher.find()) {
  125.                         for (int group = 0, count = matcher.groupCount(); group < count; group++) {
  126.                                 int groupIndex = group + 1;
  127.                                 if (groupIndex > serializers.size()) {
  128.                                         if (logger.isDebugEnabled()) {
  129.                                                 logger.debug(
  130.                                                                 "Skipping group {} to {} due to missing serializer",
  131.                                                                 group, count);
  132.                                         }
  133.                                         break;
  134.                                 }
  135.                                 NameAndSerializer serializer = serializers.get(group);
  136.                                 if (logger.isDebugEnabled()) {
  137.                                         logger.debug("Serializing {} using {}",
  138.                                                         serializer.headerName, serializer.serializer);
  139.                                 }
  140.                                 headers.put(serializer.headerName, serializer.serializer
  141.                                                 .serialize(matcher.group(groupIndex)));
  142.                         }
  143.                 }
  144.                 return event;
  145.         }

  146.         @Override
  147.         public List<Event> intercept(List<Event> events) {
  148.                 List<Event> intercepted = Lists.newArrayListWithCapacity(events.size());
  149.                 for (Event event : events) {
  150.                         Event interceptedEvent = intercept(event);
  151.                         if (interceptedEvent != null) {
  152.                                 intercepted.add(interceptedEvent);
  153.                         }
  154.                 }
  155.                 return intercepted;
  156.         }

  157.         public static class Builder implements Interceptor.Builder {

  158.                 private Pattern regex;
  159.                 private List<NameAndSerializer> serializerList;

  160.                 // 增加代码开始

  161.                 private boolean extractorHeader;
  162.                 private String extractorHeaderKey;

  163.                 // 增加代码结束

  164.                 private final RegexExtractorInterceptorSerializer defaultSerializer = new RegexExtractorInterceptorPassThroughSerializer();

  165.                 @Override
  166.                 public void configure(Context context) {
  167.                         String regexString = context.getString(REGEX);
  168.                         Preconditions.checkArgument(!StringUtils.isEmpty(regexString),
  169.                                         "Must supply a valid regex string");

  170.                         regex = Pattern.compile(regexString);
  171.                         regex.pattern();
  172.                         regex.matcher("").groupCount();
  173.                         configureSerializers(context);

  174.                         // 增加代码开始
  175.                         extractorHeader = context.getBoolean(EXTRACTOR_HEADER,
  176.                                         DEFAULT_EXTRACTOR_HEADER);

  177.                         if (extractorHeader) {
  178.                                 extractorHeaderKey = context.getString(EXTRACTOR_HEADER_KEY);
  179.                                 Preconditions.checkArgument(
  180.                                                 !StringUtils.isEmpty(extractorHeaderKey),
  181.                                                 "必须指定要抽取内容的header key");
  182.                         }
  183.                         // 增加代码结束
  184.                 }

  185.                 private void configureSerializers(Context context) {
  186.                         String serializerListStr = context.getString(SERIALIZERS);
  187.                         Preconditions.checkArgument(
  188.                                         !StringUtils.isEmpty(serializerListStr),
  189.                                         "Must supply at least one name and serializer");

  190.                         String[] serializerNames = serializerListStr.split("\\s+");

  191.                         Context serializerContexts = new Context(
  192.                                         context.getSubProperties(SERIALIZERS + "."));

  193.                         serializerList = Lists
  194.                                         .newArrayListWithCapacity(serializerNames.length);
  195.                         for (String serializerName : serializerNames) {
  196.                                 Context serializerContext = new Context(
  197.                                                 serializerContexts.getSubProperties(serializerName
  198.                                                                 + "."));
  199.                                 String type = serializerContext.getString("type", "DEFAULT");
  200.                                 String name = serializerContext.getString("name");
  201.                                 Preconditions.checkArgument(!StringUtils.isEmpty(name),
  202.                                                 "Supplied name cannot be empty.");

  203.                                 if ("DEFAULT".equals(type)) {
  204.                                         serializerList.add(new NameAndSerializer(name,
  205.                                                         defaultSerializer));
  206.                                 } else {
  207.                                         serializerList.add(new NameAndSerializer(name,
  208.                                                         getCustomSerializer(type, serializerContext)));
  209.                                 }
  210.                         }
  211.                 }

  212.                 private RegexExtractorInterceptorSerializer getCustomSerializer(
  213.                                 String clazzName, Context context) {
  214.                         try {
  215.                                 RegexExtractorInterceptorSerializer serializer = (RegexExtractorInterceptorSerializer) Class
  216.                                                 .forName(clazzName).newInstance();
  217.                                 serializer.configure(context);
  218.                                 return serializer;
  219.                         } catch (Exception e) {
  220.                                 logger.error("Could not instantiate event serializer.", e);
  221.                                 Throwables.propagate(e);
  222.                         }
  223.                         return defaultSerializer;
  224.                 }

  225.                 @Override
  226.                 public Interceptor build() {
  227.                         Preconditions.checkArgument(regex != null,
  228.                                         "Regex pattern was misconfigured");
  229.                         Preconditions.checkArgument(serializerList.size() > 0,
  230.                                         "Must supply a valid group match id list");
  231.                         return new RegexExtractorExtInterceptor(regex, serializerList,
  232.                                         extractorHeader, extractorHeaderKey);
  233.                 }
  234.         }

  235.         static class NameAndSerializer {
  236.                 private final String headerName;
  237.                 private final RegexExtractorInterceptorSerializer serializer;

  238.                 public NameAndSerializer(String headerName,
  239.                                 RegexExtractorInterceptorSerializer serializer) {
  240.                         this.headerName = headerName;
  241.                         this.serializer = serializer;
  242.                 }
  243.         }
  244. }
复制代码
简单说明一下改动的内容:

增加了两个配置参数:
extractorHeader   是否抽取的是header部分,默认为false,即和原始的拦截器功能一致,抽取的是event body的内容
extractorHeaderKey 抽取的header的指定的key的内容,当extractorHeader为true时,必须指定该参数。

按照第八讲的方法,我们将该类打成jar包,作为flume的插件放到了/var/lib/flume-ng/plugins.d/RegexExtractorExtInterceptor/lib目录下,重新启动flume,将该拦截器加载到classpath中。

最终的flume.conf如下:
  1. tier1.sources=source1
  2. tier1.channels=channel1
  3. tier1.sinks=sink1
  4. tier1.sources.source1.type=spooldir
  5. tier1.sources.source1.spoolDir=/opt/logs
  6. tier1.sources.source1.fileHeader=true
  7. tier1.sources.source1.basenameHeader=true
  8. tier1.sources.source1.interceptors=i1
  9. tier1.sources.source1.interceptors.i1.type=com.besttone.flume.RegexExtractorExtInterceptor$Builder
  10. tier1.sources.source1.interceptors.i1.regex=(.*)\\.(.*)\\.(.*)
  11. tier1.sources.source1.interceptors.i1.extractorHeader=true
  12. tier1.sources.source1.interceptors.i1.extractorHeaderKey=basename
  13. tier1.sources.source1.interceptors.i1.serializers=s1 s2 s3
  14. tier1.sources.source1.interceptors.i1.serializers.s1.name=one
  15. tier1.sources.source1.interceptors.i1.serializers.s2.name=two
  16. tier1.sources.source1.interceptors.i1.serializers.s3.name=three
  17. tier1.sources.source1.channels=channel1
  18. tier1.sinks.sink1.type=hdfs
  19. tier1.sinks.sink1.channel=channel1
  20. tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events/%{one}/%{three}
  21. tier1.sinks.sink1.hdfs.round=true
  22. tier1.sinks.sink1.hdfs.roundValue=10
  23. tier1.sinks.sink1.hdfs.roundUnit=minute
  24. tier1.sinks.sink1.hdfs.fileType=DataStream
  25. tier1.sinks.sink1.hdfs.writeFormat=Text
  26. tier1.sinks.sink1.hdfs.rollInterval=0
  27. tier1.sinks.sink1.hdfs.rollSize=10240
  28. tier1.sinks.sink1.hdfs.rollCount=0
  29. tier1.sinks.sink1.hdfs.idleTimeout=60
  30. tier1.channels.channel1.type=memory
  31. tier1.channels.channel1.capacity=10000
  32. tier1.channels.channel1.transactionCapacity=1000
  33. tier1.channels.channel1.keep-alive=30
复制代码
我把source type改回了内置的spooldir,而不是上一讲自定义的source,然后添加了一个拦截器i1,type是自定义的拦截器:

com.besttone.flume.RegexExtractorExtInterceptor$Builder,正则表达式按“.”分隔抽取三部分,分别放到header中的key:one,two,three当中去,即a.log.2014-07-31,通过拦截器后,在header当中就会增加三个key: one=a,two=log,three=2014-07-31。

这时候我们在tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events/%{one}/%{three}。
就实现了和前面第八讲一模一样的需求。

也可以看到,自定义拦截器的改动成本非常小,比自定义source小多了,我们这就增加了一个类,就实现了该功能。


转自:

http://www.aboutyun.com/thread-12067-1-1.html

原文来自:

http://blog.csdn.net/xiao_jun_0820/article/details/40590189


flume学习(五):flume将log4j日志数据写入到hdfs
flume学习(六):使用hive来分析flume收集的日志数据
flume学习(七)、(八):如何使用event header中的key值以及自定义source
flume学习(九):自定义拦截器
flume学习(十):使用Morphline Interceptor
flume学习(十一):如何使用Spooling Directory Source
0 0
原创粉丝点击