Flume架构(一)

来源:互联网 发布:淘宝质量好的鞋店 编辑:程序博客网 时间:2024/05/19 09:11

核心概念

Event
  Event是Flume数据传输的基本单元,Event由可选的header和载有数据的一个byte array构成,载有的数据对flume是不透明的,Flume 不关心数据是什么样子的,Header是容纳了key-value字符串对的无序集合,key在集合内是唯一的

Client
  Client 一般不需要配置在 Flume 中,只需要配置 Agent 即可,Client是一个将原始log包装成events并且发送它们到一个或多个agent的实体,目的是从数据源系统中解耦Flume,在flume的拓扑结构中不是必须的。

Agent
  一个Agent包含Source, Channel, Sink和其他组件,它利用这些组件将events从一个节点传输到另一个节点或最终目的,agent是flume流的基础部分

数据传输流程
这里写图片描述
Source 将数据写入到 Channel 的尾部,然后 Sink 从 Channel 中获取头部 Event

flume的启动顺序:
     channel->sink->source

flume的关闭顺序:
     source->sink->channel