YARN文档概述

来源:互联网 发布:matlab中蚁群算法 编辑:程序博客网 时间:2024/06/03 16:00
1.YARN 结构


文档简介:
Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程

 

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html


2.Hadoop: Capacity 调度

文档简介
本文档介绍了capacityscheduler,hadoop可插拔scheduler 允许多租户安全共享大的集群,他们的应用在分配的能力约束下及时分配资源。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

3.Hadoop: Fair 调度

文档简介
这个文档描述了FairScheduler,hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

###########################
上面两个文档详细介绍了hadoop调度方式


4.ResourceManger 重启


文档简介
ResourceManager 是中央权威,管理资源和调度应用运行YARN 。因此,潜在单点故障在YARN 集群。本文给出了概述,重启ResourceManager,一个功能提高ResourceManager 保持运行,对于终端用户使ResourceManager宕机时间不可见。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html



5.ResourceManager 高可用

文档简介
本指南提供了Yarn的ResourceManager高可用性概述,和详细描述了如何配置和使用这个功能。ResourceManager(RM)负责跟踪资源集群,和调度应用(等MapReduce jobs)。Hadoop 2.4之前,YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式,移除这个,否则就是单点故障。

结构:
 

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html



6.YARN 节点Labels

文档简介
节点标签是一种具有相似特性的组节点的方式,应用程序可以指定运行的地方。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html


7.Web 应用代理

文档简介
web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分,但是可以被配置为运行单机模式

英文网络:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html




8.YARN Timeline Server

文档简介
存储和检索当前应用和历史信息以通用的方式在Yarn处理,通过 Timeline Server

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html




9.Hadoop: Writing YARN 应用

文档简介
本文档描述了一个高层次的方法来实现Yarn的新应用。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

10.YARN 命令

文档简介
YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本,打印所有命令描述

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html
0 0