简单搞定yarn工作机制
来源:互联网 发布:ubuntu拷贝文件 改名 编辑:程序博客网 时间:2024/06/15 08:34
Yarn概述?
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操作系统之上的应用程序
Yarn的重要概念
1)yarn并不清楚用户提交的程序的运行机制
2)yarn只提供运算资源的调度(用户程序向yarn申请资源,yarn就负责分配资源)
3)yarn中的主管角色叫ResourceManager
4)yarn中具体提供运算资源的角色叫NodeManager
5)这样一来,yarn其实就与运行的用户程序完全解耦,就意味着yarn上可以运行各种类型的分布式运算程序(mapreduce只是其中的一种),比如mapreduce、storm程序,spark程序……
6)所以,spark、storm等运算框架都可以整合在yarn上运行,只要他们各自的框架中有符合yarn规范的资源请求机制即可
7)Yarn就成为一个通用的资源调度平台,从此,企业中以前存在的各种运算集群都可以整合在一个物理集群上,提高资源利用率,方便数据共享Yarn工作机制
2)工作机制详解
(0)Mr程序提交到客户端所在的节点
(1)yarnrunner向Resourcemanager申请一个application。
(2)rm将该应用程序的资源路径返回给yarnrunner
(3)该程序将运行所需资源提交到HDFS上
(4)程序资源提交完毕后,申请运行mrAppMaster
(5)RM将用户的请求初始化成一个task
(6)其中一个NodeManager领取到task任务。
(7)该NodeManager创建容器Container,并产生MRAppmaster
(8)Container从HDFS上拷贝资源到本地
(9)MRAppmaster向RM申请运行maptask容器
(10)RM将运行maptask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。
(11)MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动maptask,maptask对数据分区排序。
(12)MRAppmaster向RM申请2个容器,运行reduce task。
(13)reduce task向maptask获取相应分区的数据。
(14)程序运行完毕后,MR会向RM注销自己。
阅读全文
0 0
- 简单搞定yarn工作机制
- Mapreduce&yarn工作机制
- mapreduce&yarn的工作机制
- MapReduce1和Yarn的工作机制
- yarn运行mapreduce的工作机制
- hadoop 2.x yarn 的工作机制
- 简单搞定FileInputFormat切片机制
- 简单搞定Shuffle机制运行原理
- mapreduce&yarn的工作机制----吸星大法
- AsyncTask工作机制简单介绍
- YARN工作原理
- YARN的工作流程
- YARN工作流程
- YARN的工作流程
- YARN工作原理简述
- yarn工作流程
- YARN工作流程
- yarn的工作流程
- <线段树系列4> codevs 4927 线段树练习5
- error: invalid application of ‘sizeof’ to incomplete type ‘QStaticAssertFailure
- [笔记分享] [Camera] MTK Camera基础知识一
- 第十章 如果绝对的权力 会造成绝对的腐化 那么不断的竞争 就能造成不断的进步
- 二、高并发秒杀API之Dao层设计与实现
- 简单搞定yarn工作机制
- 笔记------redis
- 树莓派xrdp远程桌面连接出现Problem Connecting错误
- eclipse部署web项目至本地的tomcat但在webapps中找不到
- 基于局部均方差的图像局部对比度增强算法
- Activity的生命周期与启动模式
- 基于腾讯x5内核的精简版浏览器
- 操作系统概述
- Linux下面的文件读写操作方式