YARN原理及其工作流程
来源:互联网 发布:淘宝茶叶为什么便宜 编辑:程序博客网 时间:2024/06/05 20:45
一 YARN组成元素及其功能
NM:YARN的执行者
二 YARN工作原理
首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算三 具体流程
第一步: Client执行main()函数中runjob();开启作业第二步:client向RM发送作业请求同时RM将作业id以及jar包存放路径返回给Client
第三步:Client会把Jar路径为前缀作业id为后缀作为唯一存放路径,将jar包写入到HDFS集群中,默认情况下jar包写10份,而其他数据只写3份 当改程序运行完后删除这些数据
第四步:Client再次将Jar存放地址(更为详细的描述)提交给RM.
第五步:RM将其放入调度器,向NM发送命令,NM开启MRAPPMaster进程,MR根据HDFS中jar包数据量为NM分配任务.
第六步:NM通过心跳机制接受调度器分配的任务
第七步:NM会开启内部YARNChild
第八步:YARNChild根据命令到HDFS检索作业资源,
第九步:YARNChild开启MapTask 或者Reduce Task
第十步:map计算YARNChild调度的数据.
1 0
- YARN原理及其工作流程
- MapReduce 原理及其工作流程
- YARN的工作流程
- YARN工作流程
- YARN的工作流程
- yarn工作流程
- YARN工作流程
- yarn的工作流程
- yarn的工作流程
- Hadoop YARN工作流程
- YARN工作流程
- Hadoop Yarn工作流程
- Yarn工作流程
- Spark基本工作流程及YARN cluster模式原理
- Struts2的运行流程及其工作原理
- Struts2的运行流程及其工作原理
- YARN工作原理
- YARN工作原理简述
- HTML&CSS Learning Notes 6
- linux命令-pwd
- Sharesdk中模拟机不显示QQ空间、微信朋友圈,以及图标下面app名称为英文的解决办法
- maven 使用maven profile实现多环境可移植构建
- [boost] Windows下编译
- YARN原理及其工作流程
- POJ 1422 Air Raid (最小路径覆盖)
- linux下 /etc/profile、~/.bash_profile ~/.profile的执行过程
- 华为OJ试题:输入一行字符,分别统计出包含英文字母、空格、数字和其它字符的个数
- ffmpeg中的时间
- 策略模式
- 那条linq语句为啥这么慢
- 3sum closest to target
- 转换jdk安装路径中有空格的情况