HDFS、YARN和MapReduce简介
来源:互联网 发布:淘宝关键词搜索排名 编辑:程序博客网 时间:2024/06/06 00:21
Hadoop
Hadoop是一个Apache旗下的分布式系统基础架构。
Hadoop1由HDFS和MapReduce构成;Hadoop2框架核心设计有HDFS、MapReduce、YARN。
Hadoop2主要改进了以下四部分:YARN、NameNode HA、HDFS federation、Hadoop RPC序列化扩展性。详细解释如下:
YARN是Hadoop2中的资源管理系统,它可以使Hadoop2可以运行更多的处理框架;
NameNode HA提高了Hadoop的可靠性,当action NameNode宕机时,可立即切换到standby NameNode提供服务;
HDFS federation让多个NameNode共同管理DataNode,增加了Hadoop的集群规模;
Hadoop RPC序列化扩展性的提高,是指将数据类型独立可插拔。
HDFS
HDFS是一个分布式文件系统,具有高容错性,提供高吞吐率的数据访问,能够有效处理海量数据集。
它支持超大文件,能够检测并应对硬件故障,采用流式数据访问,并使用了简化了的一致性模型。但它不适合低延迟环境,大量小文件的读写,并且不支持多用户写入以及随机修改文件。
HDFS由NameNode和DataNode构成;NameNode保存HDFS的名字空间,任何修改操作都记录在NameNode中;DataNode把每个HDFS数据块(HDFS处理单元,默认128MB)存储在本地文件系统的单独文件中,以此来存储HDFS数据。
HDFS的读写流程如下图所示:
MapReduce
MapReduce是面向大型数据处理的并行计算模型和方法。
其工作流程如下:
MapReduce的map端输出作为输入传递给reduce端,并按键排序的过程称为shuffle,其过程如图:
Hadoop1中的MapReduce有以下四大缺点:
JobTracker同时负责资源管理和作业控制,导致其扩展性差;
MapReduce采用Master/Slave结构存在的单点故障问题会使整个集群不可用,所以它可靠性差;
MapReduce资源分配基于槽位,两种Map槽位和Reduce槽位工作时间不同却不可共享资源,降低了资源的利用率;
它无法支持多种计算框架,只能使用基于磁盘的离线计算,不支持内存计算、流式计算和迭代式计算。
YARN
YARN是Hadoop2中的通用资源管理系统,为上层应用提供统一资源管理调度,改正了Hadoop1中MapReduce的缺点,其结构如下:
YARN的组件有ResourceManager、ApplicationMaster、NodeManager和Container,其采用的仍然是Master/Slave结构(ResourceManager是Master,NodeManager是Slave)。
其工作流程图如下:
- HDFS、YARN和MapReduce简介
- HDFS简介,YARN、MapReduce原理介绍
- HDFS 和YARN HA 简介
- mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】
- 浅谈HDFS和MapReduce-YARN的运行原理
- HDFS、YARN、MapReduce原理--读书笔记
- MapReduce 2.0 之 YARN 简介
- Hadoop三剑客:hdfs、yarn、mapreduce
- mapreduce和yarn
- Hadoop权威指南读书笔记(1) - MapReduce和HDFS简介
- MapReduce 和 HDFS介绍
- MapReduce和HDFS
- HDFS和MapReduce
- hadoop之hdfs和yarn
- MapReduce和YARN的关系
- MapReduce和Yarn的理解
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- 【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
- 判空方法
- B+树&B*树简介
- linux
- 菜鸟学习HTML之前的一点心得
- Vim 分屏 + 复制系统粘贴板
- HDFS、YARN和MapReduce简介
- Java中的HashSet
- hadoop2.5.2 启动成功后,用jps查看节点:发现少了DataNode
- 单例模式
- UML学习归纳整理
- 汇编语言编程中应当注意的几大规范
- NOIP 2016 Day2 解题报告
- 跨服务器Session共享的四种方法
- UnityShader:摄像机深度图获取,屏幕分割,变形