yarn架构 及 client提交任务过程讲解
来源:互联网 发布:女士电脑双肩包 知乎 编辑:程序博客网 时间:2024/05/28 20:19
先看个yarn的整体架构
Client向RM提交任务的过程大致分为七步,先上图在解释:
1. Client向RM发出请求
2. RM返回一个ApplicationID作为回应
3. Client向RM回应Application Submission Context(ASC)。ASC包括ApplicationID、user、queue,以及其他一些启动AM相关的信息,除此之外,还有一个Container Launch Context(CLC),CLC包含了资源请求数(内存与CPU),job files,安全token,以及其他一些用以在一个node上启动AM的信息。任务一旦提交以后,client可以请求RM去杀死应用或查询应用的运行状态
4. 当RM接受到ASC后,它会调度一个合适的container来启动AM,这个container经常被称作为container 0。AM需要请求其他的container来运行任务,如果没有合适的container,AM就不能启动。当有合适的container时,RM发请求到合适的NM上,来启动AM。这时候,AM的PRC与监控的URL就已经建立了。
5. 当AM启动起来后,RM回应给AM集群的最小与最大资源等信息。这时AM必须决定如何使用那么当前可用的资源。YARN不像那些请求固定资源的scheduler,它能够根据集群的当前状态动态调整。
6. AM根据从RM那里得知的可使用的资源,它会请求一些一定数目的container。This request can be very specific,including containers with multiples of the resource minimum values (e.g., extra memory)。
7. RM将会根据调度策略,尽可能的满足AM申请的container。
在一个job运行时,AM会向RM汇报心跳与进度信息,在这些心跳过程中,AM可能去申请或释放container。会当任务完成时,AM向RM发送一条任务结束信息然后退出。如下图所示:
- yarn架构 及 client提交任务过程讲解
- yarn架构 及 client提交任务过程讲解
- yarn架构 及 client提交任务过程讲解
- yarn架构体系 任务提交过程说明
- Spark通过YARN-client提交任务不成功
- hive on spark通过YARN-client提交任务不成功
- YARN任务提交流程
- 关于spark-submit 使用yarn-client客户端提交spark任务的问题
- yarn作业提交过程源码
- Yarn中MapReduce任务提交步骤
- spark用程序提交任务到yarn
- Spark on Yarn:任务提交参数配置
- spark-cluster及yarn-client说明
- Hadoop任务提交过程
- hadoop任务提交过程
- hadoop提交任务过程
- hadoop2任务提交过程
- storm 任务提交过程
- 人脸注册源码faceregiste
- 虚拟现实、云技术、人工智能 未来的教育会有啥不一样 | 观察
- 1072. 开学寄语(20)
- 第六代WiFi芯片上市,博通首发
- [ 欧拉定理 矩阵快速幂 ] BZOJ5118
- yarn架构 及 client提交任务过程讲解
- 人脸认证源码faceIdentify
- C++之string类型
- JavaScript性能优化的小知识点总结
- 如何在AOP中获取Request和Response对象
- 联合体
- 人脸登陆facelogin
- BZOJ蒟蒻百年挖坑计划
- Java NIO:浅析I/O模型