Avro Source配置详解
来源:互联网 发布:淘宝爆款low 编辑:程序博客网 时间:2024/06/05 05:13
监听Avro端口和从外部Avro端接收事件流。
当在另一个(上一个)Flume agent搭配内置Avro sink,它可以创建分层集合拓扑。
以下为source配置时一些属性配置信息。
channels: source指定channels,可以是多个,即fan-out,用空格分割
type:组件类型名称,固定为 avro
bind:监听的主机名称或者IP地址
port:绑定监听的端口
threads:配置最大的工作线程数量
selector.type: 指定selector类型,默认不需要配置
selector.*:具体是干嘛的还不清楚,默认不需要配置
interceptors:配置拦截器,若配置多个拦截器,用逗号分割
interceptors.*:具体是干嘛的还不清楚,默认不需要配置
compression-type:这可能是“none”或“deflate”。压缩类型必须匹配匹配AvroSource的压缩类型,默认为none
ssl:设置为true来启用SSL加密。设置为true时还必须指定一个“密钥”和“密钥存储密码”。默认为false
keystore:配置一个Java keystore文件的路径。这个是SSL所必需的。
keystore-password:配置Java keystore密码。这个是SSL所必需的
keystore-type:Java keystore的类型。这可以“JKS”或“PKCS12”,默认为JKS
exclude-protocols:空格分隔的SSL/TLS协议排除列表。除了指定的协议,SSLv3总是被排除在外。默认为SSLv3
ipFilter:设置为true来启用ipFiltering网状的,默认为false
ipFilterRules:配置定义N网状的ipFilter模式规则,默认不配置
多说句关于ipFilterRules的配置:
ipFilterRules定义N网状的ipFilters,多个主机名或者IP地址,用逗号分割。
配置规则有允许(allow)和禁止(deny)2种,配置格式如下:
ipFilterRules=allow:ip:127.*,allow:name:localhost,deny:ip:*
配置demo:
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
当在另一个(上一个)Flume agent搭配内置Avro sink,它可以创建分层集合拓扑。
以下为source配置时一些属性配置信息。
channels: source指定channels,可以是多个,即fan-out,用空格分割
type:组件类型名称,固定为 avro
bind:监听的主机名称或者IP地址
port:绑定监听的端口
threads:配置最大的工作线程数量
selector.type: 指定selector类型,默认不需要配置
selector.*:具体是干嘛的还不清楚,默认不需要配置
interceptors:配置拦截器,若配置多个拦截器,用逗号分割
interceptors.*:具体是干嘛的还不清楚,默认不需要配置
compression-type:这可能是“none”或“deflate”。压缩类型必须匹配匹配AvroSource的压缩类型,默认为none
ssl:设置为true来启用SSL加密。设置为true时还必须指定一个“密钥”和“密钥存储密码”。默认为false
keystore:配置一个Java keystore文件的路径。这个是SSL所必需的。
keystore-password:配置Java keystore密码。这个是SSL所必需的
keystore-type:Java keystore的类型。这可以“JKS”或“PKCS12”,默认为JKS
exclude-protocols:空格分隔的SSL/TLS协议排除列表。除了指定的协议,SSLv3总是被排除在外。默认为SSLv3
ipFilter:设置为true来启用ipFiltering网状的,默认为false
ipFilterRules:配置定义N网状的ipFilter模式规则,默认不配置
多说句关于ipFilterRules的配置:
ipFilterRules定义N网状的ipFilters,多个主机名或者IP地址,用逗号分割。
配置规则有允许(allow)和禁止(deny)2种,配置格式如下:
ipFilterRules=allow:ip:127.*,allow:name:localhost,deny:ip:*
配置demo:
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
1 0
- Avro Source配置详解
- flume学习05---Avro Source
- Flume Avro Source 远程连接拒绝解决方法
- avro环境配置及基础知识
- avro
- avro
- AVRO
- Avro
- avro
- 【Flume】flume中Avro Sink到Avro Source的性能测试,是否压缩,是否加密
- Microsoft Avro简介及配置实战
- flume学习(一):log4jAppender直接输出日志到flume的avro-source
- [Avro]Avro入门例子
- 详解Source List
- JavaScript Source Map 详解
- JavaScript Source Map 详解
- Source.list文件详解
- JavaScript Source Map 详解
- Support Annotation Library使用详解
- 一看就懂的ReactJs入门教程(精华版)
- 51NOD 1110 距离之和最小 V3 三分法
- 魔法王国 乱搞
- ThreadPool使用
- Avro Source配置详解
- IP地址0.0.0.0表示什么
- Tomcat初探(二)
- (测试过程中遇到的问题及解决办法)
- Unity AssetBundle爬坑手记 - 夜阑卧听风吹雨
- ios实现颜色渐变的几种方法
- IDEA Properties中文unicode转码问题
- Java 工厂模式
- 指向指针的指针