flume到kafka动态topic

来源:互联网 发布:mac装双系统 编辑:程序博客网 时间:2024/06/05 06:28

json日志使用拦截器,字段取出放到header里


a1.sources.r1.interceptors = i1

a1.sources.r1.interceptors.i1.type = regex_extractor
a1.sources.r1.interceptors.i1.regex = "自定义字段":"(\\w+)"
a1.sources.r1.interceptors.i1.serializers = s1

a1.sources.r1.interceptors.i1.serializers.s1.name = topic

topic不要自定义,1.7 源码固定是 "topic",...如果自定义的话..淡淡的忧伤.....

...........

#设置Kafka的Topic

a1.sinks.k1.topic=%{topic}

............

原创粉丝点击