yarn的理解

来源:互联网 发布:谁有淘宝白菜群 编辑:程序博客网 时间:2024/06/15 11:17


1、Resource Manager

(1) 对提交的Application进行资源分配。

(2)和NodeManager进行通信,得到每个NodeManage上的资源情况r

(3)启动和监控Application Master


2、Node Manager

   管理yarn集群中的每个节点,提供从监督对一个容器的终生管理到监视资源和跟踪节点健康的服务,这些容器代表着可供一个特定应用程序的使用针对每个节点的资源。

(1) 管理本节点的资源情况

(2)处理来自Resource Manager的命令

(3)处理来自Applicaiton Manager 的命令


3、Application Master

 每个应用有一个,负责应用程序的管理。和Resource Manager通信,获取资源。且通过和Node Manager监控container的运行情况(执行情况和资源情况),任务的监控和容错。

(1) 负责数据的切分

(2)为应用程序申请资源并分配给内部的任务

(3)任务的监控与容错


4、Container

Yarn上的资源抽象,封装节点上的多维度资源,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示。Yarn会为每个任务分配一个Container。且该任务只能使用该Container中的资源。



0 0
原创粉丝点击