Avro Source配置详解

来源:互联网 发布:淘宝爆款low 编辑:程序博客网 时间:2024/06/05 05:13
监听Avro端口和从外部Avro端接收事件流。
当在另一个(上一个)Flume agent搭配内置Avro sink,它可以创建分层集合拓扑。

以下为source配置时一些属性配置信息。
channels: source指定channels,可以是多个,即fan-out,用空格分割
type:组件类型名称,固定为 avro
bind:监听的主机名称或者IP地址
port:绑定监听的端口
threads:配置最大的工作线程数量
selector.type: 指定selector类型,默认不需要配置
selector.*:具体是干嘛的还不清楚,默认不需要配置
interceptors:配置拦截器,若配置多个拦截器,用逗号分割
interceptors.*:具体是干嘛的还不清楚,默认不需要配置
compression-type:这可能是“none”或“deflate”。压缩类型必须匹配匹配AvroSource的压缩类型,默认为none
ssl:设置为true来启用SSL加密。设置为true时还必须指定一个“密钥”和“密钥存储密码”。默认为false
keystore:配置一个Java keystore文件的路径。这个是SSL所必需的。
keystore-password:配置Java keystore密码。这个是SSL所必需的
keystore-type:Java keystore的类型。这可以“JKS”或“PKCS12”,默认为JKS
exclude-protocols:空格分隔的SSL/TLS协议排除列表。除了指定的协议,SSLv3总是被排除在外。默认为SSLv3
ipFilter:设置为true来启用ipFiltering网状的,默认为false
ipFilterRules:配置定义N网状的ipFilter模式规则,默认不配置
多说句关于ipFilterRules的配置:
ipFilterRules定义N网状的ipFilters,多个主机名或者IP地址,用逗号分割。
配置规则有允许(allow)和禁止(deny)2种,配置格式如下:
ipFilterRules=allow:ip:127.*,allow:name:localhost,deny:ip:*


配置demo:
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
1 0
原创粉丝点击