flume介绍
来源:互联网 发布:学乐器的软件 编辑:程序博客网 时间:2024/05/21 18:40
特点:
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。
可靠性:
当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Besteffort(数据发送到接收方后,不会进行确认)。
可恢复性:
还是靠Channel。推荐使用FileChannel,事件持久化在本地文件系统里(性能较差)。
核心概念
Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。
Client 生产数据,运行在一个独立的线程。
Source 从Client收集数据,传递给Channel。
Sink 从Channel收集数据,运行在一个独立线程。
Channel 连接 sources 和 sinks ,这个有点像一个队列。
Events 可以是日志记录、 avro 对象等。
Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成,如下图:
Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件,非常灵活。比如:Channel可以把事件暂存在内存里,也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase,甚至是另外一个Source等等。Flume支持用户建立多级流,也就是说,多个agent可以协同工作,并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes,这也正是NB之处。如下图所示:
- Flume介绍
- flume介绍
- flume学习01-flume介绍
- flume二:flume Channel介绍
- flume四:flume sink介绍
- flume五:flume Processors介绍
- flume七:Flume Interceptors介绍
- flume学习01-flume介绍
- Cloudera Flume介绍
- Flume相关参数介绍
- Flume相关参数介绍
- flume-ng 整体介绍
- Flume-ng 监控介绍
- Flume - 各模块介绍
- flume-ng简单介绍
- Flume 核心组件介绍
- flume架构介绍!
- Apache Flume介绍
- Angular-使用Angular CLI快速搭建框架
- poj2586 Y2K Accounting Bug
- 关于Access denied for user 'root'@'localhost' (using password:NO)
- 红黑树
- poj 2942 Knights of the Round Table 点-双连通分量 图论综合题
- flume介绍
- < 笔记 > Java SE
- 网站被封申诉通道方式方法
- 《数据聚类》书籍序言阅读摘抄及思考——关于人工智能未来研究
- css布局:table布局、两栏布局、三栏布局
- c++ vector
- Socket网络编程基础
- Android事件分发机制(View)
- synchronized关键字