Flume Sink Processor
来源:互联网 发布:国际大酒店网站源码 编辑:程序博客网 时间:2024/06/05 20:36
SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。
sinks: 空格分隔的多个sink
processor.type:default|failover|load_balance
一 DefaultSink Processor
只允许接收单个sink,不强制用户为sink创建processor.
二FailoverSink Processor
它维护着一个sink的优先级列表,保证event只要有效就会被处理。
failover机制工作原理把失败的sinks放到一个池里,然后给他分配一个冷冻期。一旦一个event被成功发送,重新会把这个sink放入live池子里。
对于这个配置,我们要设置sinkgroups processor为failover,为每一个单独的sink设置优先级,另外failover的上限可以通过maxpenalty属性设置。
a1.sinkgroups= g1
a1.sinkgroups.g1.sinks= k1 k2
a1.sinkgroups.g1.processor.type= failover
a1.sinkgroups.g1.processor.priority.k1= 5
a1.sinkgroups.g1.processor.priority.k2= 10
a1.sinkgroups.g1.processor.maxpenalty= 10000
三Loadbalancing Sink Processor
LoadBalancing Sink Processor 提供另一种可以在多个sink之间平衡负载的能力。
实现支持通过round_robin(轮询)或者random(随机)参数来实现负载分发,默认情况下使用round_robin。
processor.sinks:多个空格分割的sink
processor.type:load_balance
processor.backoff:
processor.selector:round_robin|random|继承AbstractSinkSelector的类
processor.selector.maxTimeOut:
a1.sinkgroups= g1
a1.sinkgroups.g1.sinks= k1 k2
a1.sinkgroups.g1.processor.type= load_balance
a1.sinkgroups.g1.processor.backoff= true
a1.sinkgroups.g1.processor.selector= random
- Flume--failover sink processor
- Flume Sink Processor
- Flume--Load Balancing Sink Processor
- Flume Sink
- Flume学习进阶(一):source、channel、sink、processor、interceptor等组件列表说明及包含的类型介绍
- flume四:flume sink介绍
- flume sink hdfs异常
- flume自定义sink source
- flume自定义sink
- flume开发--自定义Sink
- flume hbase sink配置
- flume开发--自定义Sink
- flume自定义sink
- flume 自定义 hbase sink 类
- flume source、sink、Channels测试
- flume kafka-sink high cpu
- Flume学习04 — Sink
- Flume中的HDFS Sink配置
- git 用远程覆盖本地
- 一文搞懂HMM(隐马尔可夫模型)
- 数据库的存储过程以及函数的区别
- 好用好看的Linux系统
- 活到老,学到老
- Flume Sink Processor
- MySql笔记
- Html之Frame的onreadystatechange 事件-yellowcong
- python学习笔记之使用threading模块实现多线程(转)
- 安装linux-generator
- ChannelOption.SO_BACKLOG, 1024-> java socket参数详解:BackLog
- 通用审批流程
- c/c++ regex正则使用
- TensorRT Samples: MNIST(Plugin, add a custom layer)