YARN的设计思想和功能组件简介
来源:互联网 发布:乔任梁死因知乎 编辑:程序博客网 时间:2024/05/17 21:41
Yarn的设计思想
A. Yarn(Yet Another Resource Negotiator)B. Yarn的基本思想: 将JobTracker啷个主要功能分离成单独的组件,一个全局的ResourceManager和每个应用对应的ApplicationMaster
hadoop1.X和hadoop2.X框架对比图:
hadoop2.X框架图:
Yarn的组件:
A. ResourceManager
a) 一个纯粹的调度器b) 根据应用程序的资源请求严格限制系统的可用资源c) 在保证容量、公平性及服务等级的情况下,优化集群资源利用率,让所有资源都得到充分的利用d) 由可插拔的调度器来应用不同的调度算法,如注重容量调度还是注意公平调度
B. ApplicationMaster
a) 负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及他们的资源消耗b) 有责任与ResourceManager协商并获取合适的资源Container,跟踪他们的状态,以及监控其进展c) 在真实环境中,每一个应用都有自己的ApplicationMaster的实例,但是也可为一组提供一个ApplicationMaster,比如Pig或者Hive的ApplicationMaster。
C. 资源模型
a) YARN提供了通用的应用资源模型b) 一个应用可以通过ApplicationMaster请求非常具体的资源 i. 资源名称(包括主机名、机架名以及复杂的网络拓扑) ii. 内存量 iii. CPU iv. 其他资源:硬盘和网络的IO
D. ResourceRequest和Container
a) 一个应用程序通过ApplicationMaster请求特定的ResourceRequest来满足资源需求b) Scheduler会分配一个Container来响应资源请求c) Container是一种资源分配形式,为应用程序在特定主机上使用资源(如内存、CPU)的权利d) ApplicationMaster取走Container,并且交给NodeManager,NodeManager会利用相应的资源来启动Container的任务进程
0 0
- YARN的设计思想和功能组件简介
- YARN的主要组件及功能简介
- YARN的基本原理与功能组件简介
- OSGI框架的功能和设计思想
- OSGI框架的功能和设计思想
- OSGI框架的功能和设计思想
- Yarn设计思想
- extjs6 基础组件扩展和自定义组件封装--04静态js方法的设计思想
- android的组件、Intent及设计思想
- 安卓组件的设计思想
- MapReduce和Yarn的架构设计
- Android组件设计思想
- JavaScript组件设计思想
- JavaScript组件设计思想
- yarn框架的简介
- yarn的组件和启动job的流程
- mvc设计思想简介
- YARN资源管理和调度简介
- 通过进程获取目标路径
- Fast特征检测
- 机房收费系统——逻辑梳理
- 关于Servlet重定向简介
- mysql小记
- YARN的设计思想和功能组件简介
- 直播为什么这么火?---Live内容记录
- 图像去燥中 非局部均值滤波的简单原理
- Apache CXF实现WebService入门教程(附完整源码)
- 毕业了,重新开博
- 织梦二次开发初次建立模板心得
- JFrame常用的几种方法
- Android 修改默认按键不震动
- WaitForMultipleObjects使用详解