对于flume架构的简述
来源:互联网 发布:淘宝卖家发快递3元包邮 编辑:程序博客网 时间:2024/05/16 10:32
flume的概念:
flume是cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。
flume的功能:
1、日志收集
2、数据处理
flume的数据流由事件(event)贯穿始终。
--事件是flume的基本数据单位。这些事件由agent外部的source生成,当source捕获时间后进行特定的格式化,然后source会把事件推入(单个或多个)
channel(通道)中。
--可以把channel看成一个缓冲区,他将保存事件直到sink(水槽)处理完该事件。
--sink负责持久化日志或者把事件推向另一个source(源)。
flume提供了三种级别的可靠性保障,从强到弱分别为:
--end-to-end 收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。
--store on failure 这也是scribe(抄写员)采用的策略,当数据接收方crash(碰撞)时,将数据写到本地,待恢复后,继续发送
--besteffort 数据发送到接收方后,不会进行确认
可恢复性:
可恢复性依赖channel
推荐使用filechannel,事件持久化在本地文件系统里(性能较差)
阅读全文
0 0
- 对于flume架构的简述
- Flume架构的简单学习
- Flume ng 简述
- flume-架构
- Flume架构
- 学习架构 (一) --- 对于架构的理解
- Android编译系统的架构 简述
- 对于测试架构师的简单理解
- 对于测试架构师的简单理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- 谈谈对于企业级系统架构的理解
- memcache对于网站架构的作用思考
- 谈谈对于企业级系统架构的理解
- Apache2.4.27版本下外机(局域网)访问本机web项目问题
- Redis数据备份与恢复
- Azure 门户中基于角色的访问控制入门
- 树莓派aria2 init文档
- 8章 异常
- 对于flume架构的简述
- 高手给设计新手的经验总结
- 鼠标移动到链接上显示提示文字
- 致逝去的青春
- JAVA操作Excel文件
- SQL
- ReentrantLock源码分析
- 卷1前三章知识点汇总
- ES6 Generator函数杂记