YARN的体系结构
来源:互联网 发布:苏州博奕思网络 编辑:程序博客网 时间:2024/05/17 21:06
YARN主要是对hadoop集群资源进行管理。跟HDFS一样,他也是基于Master/Slave 主从架构,主要包括ResourceManager,NodeManager,ApplicationMaster。
Master是ResourceManager:负责所有资源的监控,分配和管理。接收来自各个NodeManager的资源汇报信息,并把这些信息按照一定策略分配各个应用程序。它主要是由2个组件构成:scheduler(调度器) 和 ApplicationsManager应用程序管理器组成。
Slave是NodeManager:负责每一个节点上资源的管理。它会向定时向ResourceManager汇报本节点资源使用情况和各个Container的运行状态;另外它还接受来自ApplicationMaster的container启动停止请求等
ApplicationMaster:是YARN中对某个job或者叫application的抽象,相当于某个application的实例,主要就是向ResourceManager申请计算资源(Container)并且和NodeManager交互来执行和监控具体的task
Container:是YARN中对计算机资源的抽象,比如内存或者CPU等资源,ApplicationMaster向 ResourceManager申请资源,ResourceM
anager返回的资源便是用Container表示的。所以我们这里也可以看出,YARN中是会每一个task分配一个Container,该任务只能使用分配的Container资源。
二 请求流程
2.1用户向YARN提交应用程序
2.2Resource Manager为该应用程序分配一个Container,并找到一个Node Manager,要求NodeManager在这个Container中启动应用程序
2.3Application Master向Resource Manager注册,并将将为各个任务
申请资源,监控他的运行状态
2.4Application Master采用轮询的方式通过RPC协议向Resource Manager申请和领取资源
2.5一旦ApplicationMaster申请到资源,便与对应的NodeManager通信,要求它启动任务。
2.6Node Manager为任务设置好运行环境,包括环境变量,jar包等,将任务启动命令写入一个脚本,并通过脚本启动任务
2.7各个任务通过RPC向ApplicationMaster汇报自己的进度和状态,以让ApplicationMaster随时掌握各个任务的运行状态
2.8应用程序完成以后,ApplicationMaster向ResourceManager注销关闭自己
- YARN的体系结构
- Hadoop体系结构之 Yarn
- 大数据之yarn体系结构
- YARN-02-YARN的框架
- yarn学习心得 yarn上的程序开发
- Yarn-cluster 与 Yarn-client的区别
- yarn-client、yarn-cluster 的区别
- Yarn的Mailing list
- YARN的工作流程
- YARN的基本概念
- yarn框架的简介
- YARN的资源管理器
- Yarn的ApplicationMaster管理
- YARN的工作流程
- Yarn的初步学习
- yarn的工作流程
- YARN的HA搭建
- yarn的工作流程
- Android IPC之AIDL
- DEVc++ 计算机中丢失libiconv2.dll
- Windows下python安装redis
- [宋词鉴赏辞典.(中国古典诗词曲赋鉴赏系列工具书)].唐圭璋.钟振振.扫描版.pdf 免费下载
- Markdown入门笔记
- YARN的体系结构
- win10搭建cntk环境并使用fastRcnn实现目标检测
- html学习记录
- vue的v_else
- win10 使用系统自带windows powershell 计算MD5值
- [中国禅宗书画美学思想史纲].皮朝纲著.扫描版.pdf 免费下载
- leetcode练习(686) python实现
- C 语言编译时报错 request for member''in something not a structure or union
- JAVA反射(四)之动态代理解决全局乱码问题