YARN-01-YARN概述

来源:互联网 发布:软件系统可靠性指标 编辑:程序博客网 时间:2024/05/22 15:42

翻译自:http://hadoop.apache.org/docs/r2.2.0/

说明:本人水平有限,不对任何专有名词翻译,如有任何错误,麻烦帮忙指正,谢谢。

Apache Hadoop 2.2.0比前一个稳定版本(hadoop-1.x)包含了重大的改进。
下面是HDFS和MapReduce改进的概述:
HDFS Federation
为了命名服务可以水平化扩展,HDFS Federation使用多个独立的namenode/namespace。namenode是联盟的,也就是独立的、不需要彼此协作。datanode使用所有的namenode用作通用的块存储。每个datanode向集群中的所有namenode注册。datanode发送定期的心跳包和块报告,并且处理来自namenode的命令。
更多详细信息请参阅HDFS Federation文档。

下一代MapReduce,也称YARN或MRv2
早在hadoop-0.23引入了新框架,新框架把JobTracker的两个主要功能分成独立的组件,这两个主要功能分别是资源管理和作业生命周期管理。
新的ResourceManager管理着程序的计算资源的全局分配,每个程序的ApplicationMaster管理着程序的调度和协作。
一个应用在某种意义上是经典MapReduce作业中的单个作业,或者这些作业中的一个DAG(Directed Acyclic Graph,有向无环图)。
ResourceManager和在每台机器上管理着用户处理的NodeManager守护进程,形成了计算的基本结构。
每个程序的ApplicationMaster实际是一个特定的框架库,负责与ResourceManager协商资源并且与NodeManager执行、监控任务。
更多详细信息请参阅YARN文档。

原创粉丝点击