Hadoop2.x中Yarn框架的任务发布流程
来源:互联网 发布:可以做seo的淘宝客cms 编辑:程序博客网 时间:2024/06/03 09:22
提交一个jar包,指定要运行的MapReduce程序。
执行到引导程序的waitforcompletion( )方法时,该方法调用启动yarn框架的进程Runjar。
- Runjar进程会向yarn框架的ResourceManager申请一个job。
- Resourcemanager会为该job分配一个jobID以及返回job相关资源的提交路径(…..staging-dir)。
- Runjar进程会将job相关事宜写入Resourcemanager返回的路径中,并在写好后向Resourcemanager通报,告诉它写完了。
- 接着Resourcemanager会将该job加入job任务队列,等待job执行。
- 轮到该job执行时,Resourcemanager会查询整个集群状态,选择一定数量Nodemanager(通常是数据所在的Nodemanager),将该mapreduce任务派发到Datanode上面。
- 得到业务逻辑的节点会根据第4步中写好的job资源文件的内容分配相应的资源形成相对封闭的容器给该程序使用。
- 之后,启动mapReduce框架,启动前yarn负责在承担此次任务的工作节点中选择一个master,会在这个master中启动相应的MRAppMaster进程(这个进程是MapReduce框架的一部分,代表着MapReduce的启动)。同时,yarn又随机选出一定数量的执行map模块的节点,在这些节点上启动YarnChild进程,负责执行map逻辑。剩下的节点负责reduce逻辑。
- MRAppMaster进程正式启动后,会向ResourceManager注册本次任务,代表任务开始执行。此时Runjar进程已经没用了。
- 接下来启动map节点,执行map逻辑,启动YarnChild进程。MRAppMaster负责管理这些进程。
- 等所有map逻辑完成后,启动reduce节点。
- 等reduce节点完成后,即所有的YarnChild进程结束,MRAppMaster进程会向ResourceManager注销本次任务,代表任务完成,Yarn可以回收本次分配的全部资源,MRAppMaster进程也会结束。
- 本次任务执行完成,查看结果。
阅读全文
0 0
- Hadoop2.x中Yarn框架的任务发布流程
- Hadoop2.x的yarn
- Hadoop2.x 资源调度框架Yarn
- Hadoop2.x YARN架构
- yarn(hadoop2)框架的一些软件设计模式
- Hadoop2.X Yarn框架原理及运作机制
- hadoop2.x下Yarn详解
- hadoop2.x --- yarn 概念 笔记
- YARN任务提交流程
- hadoop2.x的简要说明,新特性yarn的加入
- Hadoop2.x的解析和Yarn模块解析
- 配置hadoop2.X的namenode HA及Yarn HA
- hadoop2.0yarn框架简介
- Hadoop2.0中yarn中的resourcemanager的作用
- hadoop2.0.x【3】--Yarn Commands
- Hadoop2.x Yarn作业提交(客户端)
- Hadoop2.x Yarn作业提交(服务端)
- Hadoop2.x Yarn作业提交(客户端)
- 进程间通信——共享内存
- 函数指针与指针函数
- H5---null和undefined的区别?
- JQuery 自定义动画案例
- 获取Linux内核源码的方法
- Hadoop2.x中Yarn框架的任务发布流程
- 哈夫曼树
- mysql代码自动生成器
- Linux/Centos下/lib64/libc.so.6: version `GLIBC_2.14' not found问题
- 京东JS面试题
- day23之数组循环右移k位+去除重复的字符。
- Java8 Stream的筛选和切片
- CNTK API文档翻译(14)——实验图像识别
- 浅谈JS中正则表达式(RegExp)的使用