Yarn的运行原理(执行流程)
来源:互联网 发布:win10仿mac 编辑:程序博客网 时间:2024/05/19 00:16
1.client向yarn提交job,首先找ResourceManager分配资源,
2.ResourceManager开启一个Container,在Container中运行一个Application manager
3.Application manager找一台nodemanager启动Application master,计算任务所需的计算
4.Application master向Application manager(Yarn)申请运行任务所需的资源
5.Resource scheduler将资源封装发给Application master
6.Application master将获取到的资源分配给各个nodemanager
7.各个nodemanager得到任务和资源开始执行map task
8.map task执行结束后,开始执行reduce task
9.map task和 reduce task将执行结果反馈给Application master
2.ResourceManager开启一个Container,在Container中运行一个Application manager
3.Application manager找一台nodemanager启动Application master,计算任务所需的计算
4.Application master向Application manager(Yarn)申请运行任务所需的资源
5.Resource scheduler将资源封装发给Application master
6.Application master将获取到的资源分配给各个nodemanager
7.各个nodemanager得到任务和资源开始执行map task
8.map task执行结束后,开始执行reduce task
9.map task和 reduce task将执行结果反馈给Application master
10.Application master将任务执行的结果反馈pplication manager。
阅读全文
1 0
- Yarn的运行原理(执行流程)
- struts的执行原理(执行流程)
- struts2的执行流程(执行原理)
- MapReduce在YARN上的运行流程
- Yarn作业执行流程
- Yarn运行Mapreduce程序的工作原理
- Spark on Yarn的运行原理
- yarn是什么?为什么会产生yarn,它解决了什么问题?以及yarn的执行流程
- MapReduce&Yarn 运行原理
- HADOOP 2.0 YARN应用程序的执行流程和开发
- MapReduceOnYarn(iMapReduce在Yarn执行的流程分享)
- mapreduce程序在yarn上运行的流程
- YARN原理及其工作流程
- Yarn的架构和概念--通过Yarn调度job的完整执行流程
- PHP的执行原理/执行流程
- 【转】PHP的执行原理/执行流程
- PHP的执行原理/执行流程
- PHP的执行原理/执行流程
- Hdu 2544 最短路
- ViewPager实现无限轮播+小点点
- windows加入域的一些问题
- VS检测内存泄漏
- Spring整合Quartz(JobDetailBean方式)
- Yarn的运行原理(执行流程)
- 经典的生产者与消费者模型(基于synchronized方法实现)
- 多线程
- HTTP请求错误400、401、402、403、404、405、406、407、412、414、500、501、502详解
- CC26xx I2S
- LabView学习
- Windows Error 0x00002620
- Spring(13)——PropertyPlaceholderConfigurer(二)之namespace
- Java工程师的一些面试总结(3)