Hadoop学习笔记(1)----项目简述
来源:互联网 发布:博明软件 编辑:程序博客网 时间:2024/06/07 01:19
1.Common:一系列组件和接口,用于分布式文件系统和通用I/O(序列化、Java RPC和持久化数据结构)
2.Avro:一种序列化系统,用于支持高效,跨语言的RPC和持久化数据存储
3.MapReduce:分布式数据处理模型和执行环境,运行于大型商用机集群
4.HDFS:分布式文件系统,运行于大型商用机集群
5.Pig:数据流行语言和运行环境,用以探究非常庞大的数据集。Pig运行在MapReduce和HDFS集群上
6.Hive:一种分布式的,按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据
7.Hbase:一种分布式的、按列存储的数据库。HBase使用HDF作为底层存储,勇士支持MapReduce的批量式计算和点查询(随机读取)
8.ZooKeeper:一种分布式的、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用
9.Sqoop:该工具用于在结构化数据存储(如关系型数据库)和HDFS之间高效批量传输数据
10.Oozie:该服务用于运行和调度Hadoop作业(如MapReduce,Pig,Hive及Sqoop作业)
0 0
- Hadoop学习笔记(1)----项目简述
- OpenCV(学习笔记1)-简述
- Unity3D_uGUI学习笔记(1)_Canvas简述
- hadoop学习笔记1
- hadoop学习笔记1
- Hadoop学习笔记1
- Hadoop学习笔记1
- Hadoop学习笔记1
- hadoop学习笔记(1)
- Hadoop 学习笔记1
- HADOOP学习笔记----------------------(1)
- Hadoop学习笔记1
- Hadoop学习笔记(1)
- Hadoop学习笔记(1)
- Hadoop学习笔记 1
- Hadoop学习笔记1
- Hadoop学习笔记(1)
- Hadoop学习笔记(6)-简述分布式文件系统HDFS原理
- java基础学习总结——接口
- 软件设计模式——迭代器模式(Iterator Pattern)
- Android Studio 使用教程2
- Firebug使用详解
- 操作系统第一次上机实验 进程控制(终极版)
- Hadoop学习笔记(1)----项目简述
- Java加密技术(八)——数字证书
- Java基础学习总结——Java对象的序列化和反序列化
- 规划
- Java 设计模式 - 桥接模式
- PHP 实现(递归)二叉树的先序、中序、后序
- 使用 Eclipse PhoneGap 构建 Android
- Java制作证书的工具keytool用法总结
- kafka安装