flume使用
来源:互联网 发布:安泰管理学院知乎 编辑:程序博客网 时间:2024/06/05 16:29
flume简单总结
1:flume中 在同一个agent中从source到channel,从channel到sink每一步都有类似于事务的机制进行保障。在多个连起来的agent中,第一个agent的sink与第二个source之前也存在类似的事务机制。注:此处的agent是指source,channel,sink组成的一个单位。因此flume具有强可靠性,不会在agent的各个组件传输数据时产生数据丢失。但是如果agent异常退出或者机器挂掉的话,只要设置durable file channel就会将数据保存到磁盘上,启动之后数据还是可以恢复的。
2:如果想要写多个agent相连必须使用的source类型为Avro或者thrift。因为Avro和thrift可以指定被监视的IP地址和端口号
3:replicating and multiplexing 一个source对应多个渠道channel时的用途,一个source也可以有多个数据来源,例如:Avrosource可以监视roc发送到某一个IP地址端口的数据,只需多设置几个数据源向此IP端口发送数据即可。
4:一个source实例可以有多个channel(对应replication或者multiplexing功能可以实现了),但是一个sink只能对应一个channel
5:flume架构的拓扑结构
满足一个source可以有一个或多个数据来源,一个source可以有一个或多个channel渠道,其中多个渠道设计可以是为了备份也可以是为了根据条件分流到不同的sink都可以。一个sink只能对应一个channel
0 0
- flume使用
- flume使用
- Flume使用
- flume学习:Flume Interceptors的使用
- Flume 的使用案例
- 尝试使用Flume 1.3
- flume-ng 使用系列
- flume的简单使用
- Flume安装使用
- flume配置与使用
- Flume 原理和使用
- Flume Channel Selectors使用
- flume安装使用
- flume要删,安装,使用
- Flume使用-问题总结
- Flume使用笔记
- flume的使用
- cdh5.4.7 flume使用
- 魅族应用上传应用市场空包签名的问题,快捷解决方案!
- 视图
- 基于深度相机的三维重建技术
- Linux下安装MySQL-5.7
- 整理的最完整的OFPT_STATS_REQUEST && REPLY消息-部分转载(含有1.0与1.3的对比)
- flume使用
- C语言交换两个变量的值
- Android 案例---SQLite数据库的学习
- Linux——ubuntu硬盘分区
- caffe训练加BN层的网络时loss为87.3365的问题解决办法
- myeclipse struts2环境配置(入门教程)
- 将查询信息整合成一个实体类
- java部分基础类型及时间格式的数据格式相互转换方法整理
- 55.JVM调优之原理概述以及降低cache操作的内存占比