flume到kafka动态topic
来源:互联网 发布:mac装双系统 编辑:程序博客网 时间:2024/06/05 06:28
json日志使用拦截器,字段取出放到header里
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_extractora1.sources.r1.interceptors.i1.regex = "自定义字段":"(\\w+)"
a1.sources.r1.interceptors.i1.serializers = s1
a1.sources.r1.interceptors.i1.serializers.s1.name = topic
topic不要自定义,1.7 源码固定是 "topic",...如果自定义的话..淡淡的忧伤.....
...........
#设置Kafka的Topic
a1.sinks.k1.topic=%{topic}
............
阅读全文
0 0
- flume到kafka动态topic
- Flume到Kafka
- Flume:本地文件到Kafka
- flume数据传输到kafka
- flume上报日志到kafka
- Kafka实战-Flume到Kafka
- flume到kafka,structuredStreaming从kafka消费
- Kafka Topic动态迁移 (源代码解析)
- Kafka动态增加Topic的副本(Replication)
- kafka topic
- [日志处理工作之三]使用flume采集DB2日志推送到kafka,并使用spark streaming拉取指定topic的日志
- 从flume到kafka,日志收集
- flume从kafka导数据到hdfs
- flume采集数据到kafka和hive
- flume实时收集日志到kafka
- flume抓取数据到kafka(整合)
- flume采集log4j日志到kafka
- kafka flume生产日志到指定的kafka partition
- let、const
- vue打包时报es6语法错误
- 6基于opencv的形态学处理(一)腐蚀_膨胀
- windows pdb
- C语言基础(一)
- flume到kafka动态topic
- chkconfig命令详解
- 均匀分布随机数的生成算法简介
- Unity 中的4X4矩阵
- 一、排序之冒泡排序
- 吉他各种调式推算
- [leetcode]#83. Remove Duplicates from Sorted List
- Word开发中的常用接口,Range,Tables,InlineShapes
- Java 自定义ClassLoader