flume properties配置文件详解

Properties 配置文件

基础的netcat

a.sources=r1 //数据来源，可以多个，中间用空格分隔
a.channels=c1 //传输管道，一般只有一个，可以多个
a.sinks=k1 //数据沉淀，可以多个，中间用空格分隔

a.sources.r1.type=netcat //数据来源类型是输入
a.sources.r1.bind=master //指定主机名
a.sources.r1.port=8888 //指定端口
a.sources.r1.channels=c1 //指定传输管道，

a.channels.c1.type=memory //传输管道的参数，类型是内存传输
a.channels.c1.capacity=1000
a.channels.c1.transactionCapacity=100

a.sinks.k1.channel=c1 //设置数据沉淀接收的管道
a.sinks.k1.type=logger //沉淀的方式是控制台打印，还可以有其他方式，如上传到集群。

基础的http/hdfs

b.sources=r1 r2
b.channels=c1
b.sinks=s1

b.sources.r1.type=spooldir
b.sources.r1.spoolDir=flume

b.sources.r2.type=http //来源是json数据
b.sources.r2.port=7777
b.sources.r2.bind=master
b.sources.r2.channels=c1

b.channels.c1.type=memory
b.channels.c1.capacity=1000
b.channels.c1.transactionCapacity=100

b.sinks.s1.type=hdfs //数据沉淀的类型是到集群
b.sinks.s1.hdfs.path=/flume/%y-%m-%d //上传的位置/文件夹名/时间命名的文件夹
b.sinks.s1.hdfs.rollInterval=0
b.sinks.s1.hdfs.writeFormat=Text //写入格式化，默认忽略Header
b.sinks.s1.hdfs.fileType=DataStream
b.sinks.s1.hdfs.rollCount=0
b.sinks.s1.hdfs.rollSize=10485760 //最多有多少行，数据会写在一个文件里，append在最后
b.sinks.s1.hdfs.useLocalTimeStamp=true

b.sources.r1.channels=c1
b.sinks.s1.channel=c1

json 代码：发送ajax请求：

Avro实现Agent连接

master中的配置

a.sources=r1
a.channels=c1
a.sinks=k1

a.sources.r1.type=netcat
a.sources.r1.bind=master
a.sources.r1.port=8888
a.sources.r1.channels=c1

a.channels.c1.type=memory
a.channels.c1.capacity=1000
a.channels.c1.transactionCapacity=100

a.sinks.k1.channel=c1
a.sinks.k1.type=avro //设置sinks的类型为avro，传输给s1:888
a.sinks.k1.hostname=s1
a.sinks.k1.port=888

s1中的配置

a.sources=r1
a.channels=c1
a.sinks=k1
a.sources.r1.type=avro //实现对接，可以设置多个对接
a.sources.r1.bind=s1
a.sources.r1.port=888
a.sources.r1.channels=c1

a.channels.c1.type=memory
a.channels.c1.capacity=1000
a.channels.c1.transactionCapacity=100

a.sinks.k1.channel=c1
a.sinks.k1.type=logger

实现过滤器

a.sources=r1
a.channels=c1
a.sinks=k1

a.sources.r1.type=netcat
a.sources.r1.bind=master
a.sources.r1.port=8888
a.sources.r1.channels=c1

a.sources.r1.interceptors=i1 i2 i3 //过滤器的名称
a.sources.r1.interceptors.i1.type=timestamp //时间过滤器，会显示在header中
a.sources.r1.interceptors.i2.type=host //主机过滤器，会显示在header中
a.sources.r1.interceptors.i3.type=com.zhiyou100.MyApp$Builder //自定义的过滤器，为自定义过滤器中的Builder类

a.channels.c1.type=memory
a.channels.c1.capacity=1000
a.channels.c1.transactionCapacity=100

a.sinks.k1.channel=c1
a.sinks.k1.type=logger

自定义拦截器，浏览下篇：自定义flume 拦截器（interceptor）