初识Hadoop
来源:互联网 发布:清迈打车软件 编辑:程序博客网 时间:2024/06/05 01:52
一、Hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机 组成的集群中对海量数据进行分布式计算。HDFS实现存储,MapReduce实现分析处理。
二、Hadoop框架中核心
HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统,提供了海量数据的存储;大文件被分成默认64M一块的数据块分布存储在集群机器中。
MapReduce:概念"Map(映射)"和"Reduce(化简)",是一种编程模型,用于大规模数据集(由键/值对组成,大于1TB)的并行计算。提供了对数据的分析计算。Hadoop 为每一个input split创建一个task调用Map计算,在此task中依次处理此split中的一个个记录(record),map会将结果以key--value的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出,保存在HDFS上。
三、Hadoop项目简述:
Common:一组分布式文件系统和通用I/O组件与接口(序列化、Java RPC和持久化数据结构)。
Avro:一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。
MapReduce:分布式“数据处理”模型和执行环境,运行于大型商用机集群。
HDFS:分布式“文件”系统,运行于大型机集群
Pig:一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hive:一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
HBase:一个分布式、按列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。
ZooKepper:一个分布式、可用性高的协调服务。ZoopKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Sqoop:在数据库和HDFS之间高效传输数据的工具。
二、Hadoop框架中核心
HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统,提供了海量数据的存储;大文件被分成默认64M一块的数据块分布存储在集群机器中。
MapReduce:概念"Map(映射)"和"Reduce(化简)",是一种编程模型,用于大规模数据集(由键/值对组成,大于1TB)的并行计算。提供了对数据的分析计算。Hadoop 为每一个input split创建一个task调用Map计算,在此task中依次处理此split中的一个个记录(record),map会将结果以key--value的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出,保存在HDFS上。
三、Hadoop项目简述:
Common:一组分布式文件系统和通用I/O组件与接口(序列化、Java RPC和持久化数据结构)。
Avro:一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。
MapReduce:分布式“数据处理”模型和执行环境,运行于大型商用机集群。
HDFS:分布式“文件”系统,运行于大型机集群
Pig:一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hive:一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
HBase:一个分布式、按列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)。
ZooKepper:一个分布式、可用性高的协调服务。ZoopKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Sqoop:在数据库和HDFS之间高效传输数据的工具。
- 初识Hadoop
- hadoop 初识
- hadoop初识
- 初识Hadoop
- 初识hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识hadoop
- 初识Hadoop
- hadoop初识
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 100个名著浓缩一句话 (转)
- Ajax无刷新分页
- 带OnMouseUp、OnMouseDown、OnMouseMove事件的TrackBar控件
- js简单实现div遮罩层
- opencv里面图像通道问题
- 初识Hadoop
- Ext3.4 带查询form的grid封装
- struts2拦截器
- BitmapFactory.decodeResource 获取图片宽与高
- css设置ul中li不能实现左对齐(针对非IE浏览器)
- Struts2基于注解的Action配置
- MIPI-技术浅谈
- 使用javac编译java文件和使用javah生成C/C++头文件 遇到找不到类的问题
- 设置progressbar进度条颜色