Flume系列——Flume介绍及安装
来源:互联网 发布:吊死鬼游戏 c语言 编辑:程序博客网 时间:2024/05/22 01:48
Flume系列——Flume介绍及安装
介绍
Hadoop是离线批量处理海量数据的框架,这些数据已经存放在了HDFS上。但是除非这些数据是其他MapReduce的输出,否则它们不可能一开始就在HDFS上。那么它们是怎么放上去的呢?
当然有很多种途径,如sqoop。不同的数据源可能实用的框架不同。我们在这里要提到的是Flume。官方是这样描述它的:
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.
它是一个分布式的、可靠的和可用的服务,能高效收集、聚合和移动大量日志数据。它用可调优的可靠性机制以及故障切换和恢复机制了保证健壮性和容错性。
Flume由很多个Agent组成,它们是一直运行的java进程。Agent由Source、Channel和Sink组成。Source是数据源,它读取数据并发送到Channel中,数据储存在Channel中直到被转发到Sink。Flume读取的数据是以事件流的形式发送的。其结构如下:
安装
Flume的安装非常简单。从Flume官网下载安装包。解压到某个目录。
tar -xzf apache-flume-1.7.0-bin.tar.gz
设置好FLUME_HOME和PATH环境变量就可以了。
Flume的安装就这么简单。
0 0
- Flume系列——Flume介绍及安装
- Flume安装及配置介绍
- 整体认识flume:Flume介绍、分布式安装、常见问题及解决方案
- Flume介绍安装
- flume安装及配置
- flume安装及配置
- flume安装及配置
- Flume 基本概念及安装
- Flume安装及测试
- Flume安装及使用
- 大数据学习——Flume介绍与安装
- 大数据处理工具1——Flume安装及使用
- Flume系列一之架构介绍和安装
- flume介绍及原理总结
- flume架构及应用介绍
- Flume-安装Flume
- Flume介绍
- flume介绍
- android拍照和选择照片(单张)出现照片无法加载的问题
- 猫狗大战
- mui 开发知识 积累总结-----puls.webview
- hiho 1426
- #午安,努力#11.27
- Flume系列——Flume介绍及安装
- 51nod N的阶乘
- OpenStack-M版(Mitaka)搭建- – -身份认证服务(Keystone)篇
- spring登陆
- Android自定义View基础之onLayout详解
- 苏嵌22 16.11.26
- 22. MySQL 函数
- java 转换int类型数值到对应的金额大写
- 极大似然估计