Flume架构(一)
来源:互联网 发布:淘宝质量好的鞋店 编辑:程序博客网 时间:2024/05/19 09:11
核心概念
Event
Event是Flume数据传输的基本单元,Event由可选的header和载有数据的一个byte array构成,载有的数据对flume是不透明的,Flume 不关心数据是什么样子的,Header是容纳了key-value字符串对的无序集合,key在集合内是唯一的
Client
Client 一般不需要配置在 Flume 中,只需要配置 Agent 即可,Client是一个将原始log包装成events并且发送它们到一个或多个agent的实体,目的是从数据源系统中解耦Flume,在flume的拓扑结构中不是必须的。
Agent
一个Agent包含Source, Channel, Sink和其他组件,它利用这些组件将events从一个节点传输到另一个节点或最终目的,agent是flume流的基础部分
数据传输流程
Source 将数据写入到 Channel 的尾部,然后 Sink 从 Channel 中获取头部 Event
flume的启动顺序:
channel->sink->source
flume的关闭顺序:
source->sink->channel
阅读全文
1 0
- Flume架构(一)
- Flume架构(二)
- flume源码分析一:总体架构
- flume笔记(一)
- Apache Flume(一)
- flume学习(一)
- Flume学习(一)Flume初始
- flume-架构
- Flume架构
- Flume-应用案例(一)
- Flume系列一之架构介绍和安装
- Flume架构及案例介绍(转载)
- 【Java】【Flume】Flume-NG启动过程源码分析(一)
- flume学习(一):log4j直接输出日志到flume
- 【Java】【Flume】Flume-NG启动过程源码分析(一)
- flume学习(一):log4j直接输出日志到flume
- 【Java】【Flume】Flume-NG启动过程源码分析(一)
- flume学习(一):log4j直接输出日志到flume
- Spring+Quartz 'jobLauncher' is not serializable
- JavaScript获取浏览器高度和宽度值
- Android截屏实现——亲测有效代码
- bzoj1861 [Zjoi2006]Book 书架
- tomcat的server.xml详解
- Flume架构(一)
- [luogu]P1576最小花费-最短路裸题
- Python bottle 笔记(三) —— route
- (算法分析Week16)132 Pattern[Medium]
- 数据结构实验之排序三:bucket sort
- 关于我不想看到ubuntu中 “检测到系统程序错误”
- CF 899E Segments Removal 链表+优先队列
- Cassandra创建键空间(Keyspace)
- springCloud入门(三)远程调用方法