日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图(1、简单结构、复杂结构)
来源:互联网 发布:minecraft mac java 编辑:程序博客网 时间:2024/05/17 06:58
1. 日志采集框架Flume
1.1 Flume介绍
1.1.1 概述
1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
2.Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
3.一般的采集需求,通过对flume的简单配置即可实现
4.Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景
1.1.2 运行机制
1、 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成
2、 每一个agent相当于一个数据传递员,内部有三个组件:
a) Source:采集源,用于跟数据源对接,以获取数据
b) Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel:angent内部的数据传输通道,用于从source将数据传递到sink
1.1.3 Flume采集系统结构图
1. 简单结构
单个agent采集数据
2. 复杂结构
多级agent之间串联
阅读全文
0 0
- 日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图(1、简单结构、复杂结构)
- 日志采集框架Flume
- 日志采集框架Flume
- Flume日志采集框架
- 日志采集框架Flume
- 日志采集框架--Flume
- flume日志采集
- flume日志采集
- Flume日志采集
- flume日志采集
- flume日志采集
- Flume日志采集
- Flume采集处理日志文件
- 【备忘】Flume日志采集视频教程
- Flume日志采集多级Agent
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- Hive采集数据框架flume
- 日志采集框架Flume的安装及使用
- Java内存模型
- 自定义数据绑定formate函数
- nltk使用时 ImportError: cannot import name 'format_exception_only'
- J2EE系列之MyBatis学习笔记(四)-- mybatis关系映射(一对一映射)
- 单片机延时函数实现
- 日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图(1、简单结构、复杂结构)
- 动画的正确使用姿势
- eclipse快捷键大全
- AngularJS 动画
- iText7彻底解决中文问题、特殊字符(如......省略号报错问题,其他的自测)
- Android 6.0动态获取权限,根据官方总结的最简单有效解决方法
- js 获取URL地址附带参数 获得请求链接参数
- APP原型设计之初
- 制作自己的图片数据集(VOC2007格式)