Hadoop入门之Yarn调度MR流程
来源:互联网 发布:java全套视频教程 编辑:程序博客网 时间:2024/05/19 19:13
首先明确下Yarn到底是什么? Yarn是一个资源调度系统,主要负责任务的维持及为任务分配需要的运行资源.
1.客户端生成相应的文件后,连接resourceManager请求提交一个application
2.resourceManager(RM)给客户端返回一个地址,供客户端提交文件.
3.Client提交文件到指定的HDFS地址上
4.Client向RM申请运行该任务的MRAppMaster.
5.MR将Client的请求的任务初始化为一个task放入到其维护的队列中.
6.当MR的调度策略调度到该task时,向一个NodeManager分配该task
7.NodeManager根据task描述创建一个容器,来运行该task,此次运行的应该是MRAppMaster.需要先从HDFS中将上传的Job信息下载到容器中.(上次Mapreduce流程中说到,MRAppMaster是整个MR过程的控制中心)
8.MRAppMaster根据Job中的信息向RM申请运行Maptask的运行资源.
9.RM将申请的task放入到其维持的任务队列中,根据策略来决定何时运行其中的task
10.Nodemanager得到分配的task,开始分配资源容器
11.MRAppMaster启动各个机器上的Maptask
12.所有Maptask运行结束后,MRAppMaster向RM申请运行相应的Reducertask资源
13.RM根据调度策略分配相应的运行资源
14.Nodemanager得到分配的task,开始分配资源容器
15.MRAppMaster启动各个reducertask
16.所有reducetask运行结束后,MRAppMaster向RM申请注销自己,进行资源回收.
阅读全文
0 0
- Hadoop入门之Yarn调度MR流程
- hadoop--之YARN框架流程
- 【Hadoop入门学习系列之三】YARN原理和资源调度
- Hadoop之YARN及运行流程
- Hadoop MR &MRv2(YARN)编程模型
- Hadoop Yarn Capacity调度器之ACL的一个坑
- Hadoop - YARN 启动流程
- Hadoop YARN工作流程
- Hadoop Yarn工作流程
- hadoop yarn DRF调度算法
- yarn之调度
- hadoop yarn 入门介绍
- Hadoop源码解析之YARN客户端作业提交流程
- Hadoop源码解析之YARN服务端作业提交流程
- Hadoop(08) MR入门程序
- Hadoop Yarn的工作流程
- Hadoop YARN的工作流程
- Hadoop之YARN命令
- [Unity Shaders] 半透明材质的混合效果
- qt中关于xml的读取、写入、修改等操作
- Toast显示
- Raid
- mybatis自动生成代码的语句
- Hadoop入门之Yarn调度MR流程
- Activity启动模式详解
- linux中的分段和分页
- 【网络流24题】火星探险(拆点+费用流)
- Python读取图像
- SpringBoot从入门到精通
- Servlet3.0上传图片示例
- redis内存锁,PHP防止并发操作
- 行列式求值