hadoop子项目简介
来源:互联网 发布:共享单车盈利模式 知乎 编辑:程序博客网 时间:2024/04/30 02:52
图片转自百度:
目前,整个Hadoop家族由以下几个子项目组成:
Hadoop Common
Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。
Avro
Avro是doug cutting主持的RPC项目,有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC,使hadoop的RPC模块通信速度更快、数据结构更紧凑。
Chukwa
Chukwa是基于Hadoop的大集群监控系统,由yahoo贡献。
HBase
基于Hadoop Distributed File System,是一个开源的,基于列存储模型的分布式数据库。
HDFS
分布式文件系统
Hive
hive类似CloudBase,也是基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总,即席查询简单化。hive提供了一套QL的查询语言,以sql为基础,使用起来很方便。
MapReduce
实现了MapReduce编程框架
Pig
Pig是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。
ZooKeeper
Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
- hadoop子项目简介
- Hadoop主要子项目
- hadoop子项目---pig
- hadoop入门--子项目
- Hadoop 的子项目
- Hadoop项目简介
- Hadoop及子项目介绍
- Hadoop及子项目介绍
- Hadoop相关子项目整理
- hadoop的成员项目简介
- Hadoop-Intellij-Plugin 项目简介
- Hadoop Distributed File System 简介HDFS 是一个 Apache Software Foundation 项目,是 Apache Hadoop 项目的一个子项目(参见
- Hadoop 子项目HIVE安装版本选择
- Hadoop子项目——hive
- Hadoop子项目——hbase
- hadoop中HBase子项目入门讲解
- Hadoop(六)——子项目Pig
- Hadoop(七)——子项目Hive
- SAP&Java WebService(一) ----SAP新建WebService
- myeclipse6.5重新换maven2
- 在sql中将时间戳转换为时间类型
- JEECG 的发现使用之旅
- Web图表开发--用ChartDirector画证券走势图
- hadoop子项目简介
- SqlDataAdapter类
- ANDROID中自定义ADAPTER实现LISTVIEW动态刷新进度条
- StackMob的诱惑:16小时,山寨一款移动App
- 程序员10大境界
- JQuery学习4——标签页效果一
- ubuntu12.10绑定静态mac地址
- mysqldump
- 文件上传与下载