yarn的理解
来源:互联网 发布:谁有淘宝白菜群 编辑:程序博客网 时间:2024/06/15 11:17
1、Resource Manager
(1) 对提交的Application进行资源分配。
(2)和NodeManager进行通信,得到每个NodeManage上的资源情况r
(3)启动和监控Application Master
2、Node Manager
管理yarn集群中的每个节点,提供从监督对一个容器的终生管理到监视资源和跟踪节点健康的服务,这些容器代表着可供一个特定应用程序的使用针对每个节点的资源。
(1) 管理本节点的资源情况
(2)处理来自Resource Manager的命令
(3)处理来自Applicaiton Manager 的命令
3、Application Master
每个应用有一个,负责应用程序的管理。和Resource Manager通信,获取资源。且通过和Node Manager监控container的运行情况(执行情况和资源情况),任务的监控和容错。
(1) 负责数据的切分
(2)为应用程序申请资源并分配给内部的任务
(3)任务的监控与容错
4、Container
Yarn上的资源抽象,封装节点上的多维度资源,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示。Yarn会为每个任务分配一个Container。且该任务只能使用该Container中的资源。
0 0
- yarn的理解
- Hadoop 中Yarn的理解
- spark on yarn的理解
- YARN架构的深入理解
- MapReduce和Yarn的理解
- [YARN] Yarn下Mapreduce的内存参数理解
- 对hadoop版本YARN的一点理解
- yarn的理解和工作流程
- Yarn下Mapreduce的内存参数理解
- 理解Hadoop YARN架构
- 理解YARN Scheduler
- 深入理解yarn
- 深入理解Yarn的架构及作业调度机制
- 深入理解Yarn的架构及作业调度机制
- 二、关于HDFS、YARN及MapReduce的理解
- 深入理解Yarn的架构及作业调度机制
- Yarn下Mapreduce的内存参数理解&xml参数配置
- YARN-02-YARN的框架
- IntelliJ IDEA搭建SpringBoot
- mysql输入密码后闪退怎么办?
- Mybitis常用语句
- JAVAFX中文、OSGI、ECLIPSE开源资料
- MTK lk源码解析1( lk 阶段汇编代码crt0.S解析)
- yarn的理解
- iOS开启之旅
- 四个策略“快又准”打造企业大数据分析平台
- js中的回调函数的理解和使用方法
- jQuery中event.target和this的区别——冒泡
- Javascript实现计数器,定时警告和停止
- IO标准库——①IO类概述
- VPS+SS搭建VPN
- 密码验证合格程序(判断字符串是否有重复子串)