Spark的资源管理和调度模式
来源:互联网 发布:淘宝分享怎么查看 编辑:程序博客网 时间:2024/06/04 20:11
1.Spark-standalone
Standalone的模式下,spark的资源管理和调度是自己来管理和调度的,主要由master来管理。
2.Spark-yarn
ResourceManager
NodeManager
ApplicationMaster
Container(资源)
Task
Hadoop集群上面 Yarn执行任务的流程:
Client提交任务给resourceManager,resourceManager会选择一台机器开启一个container,在container里面开启一个applicationaster服务进程,applicationMaster进行任务的管理和调度,applicationMaster会向resourceManager申请资源,resourcemanager会在其他的机器上开启container进行资源分配。applicationMaster在resourcemanager分配的资源进行任务调度,在container里面运行task(map和reduce)
Spark集群基于yarn的时候任务的执行流程:
(1)client模式
Client提交任务给resourceManager,在提交任务的时候,在提交任务的那台机器上面开启一个driver服务进程,resourcemanager在接收到client提交的任务以后,在集群中随机选择一台机器分配一个container,在该container里面开启一个applicationmaster服务进程,driver去找applicationmaster,applicationmaster去找resourcemanager申请资源,resourcemanager会分配container,在其中开启excuter,excuter会反向向driver注册,driver把task放入到excuter里面执行。
(2)Cluster模式
Spark集群会在集群中开启一个driver,此时开启就是applicationmaster和driver合二为一了。其他的都相同。
注:Standalone和yarn上运行的业务的执行流程都是相同的,只是资源的分配和管理的方式不一样了。
3.spark-Mesos
方式类似yarn
- Spark的资源管理和调度模式
- Spark资源管理和任务调度
- Spark调度模式-FIFO和FAIR
- YARN资源管理和调度简介
- Apache Spark 的资源管理和 YARN 的 App 模型
- Spark的架构和任务调度
- <点点滴滴>Spark的调度模块和Spark容错
- Spark之Job调度模式
- 【spark】之Job调度模式
- spark on mesos Coarse Mode 调度模式的改变
- Spark的任务调度
- 008-spark 的调度
- Spark 的调度策略
- spark 核心作业调度和任务调度
- 集群资源管理与调度
- spark学习-49-Spark的job调度
- [spark] 调度模式(FIFO&FAIR)
- Spark的作业调度过程
- [App] WildFly + apache-maven + quickstart
- 经典同步互斥问题之读者—写者问题
- Java基础知识
- 设计模式--适配器模式、外观模式
- 利用UiAutomator写一个首页刷新的稳定性测试脚本
- Spark的资源管理和调度模式
- oraacle 几个函数的用法
- 采用BigInteger进行的权限设计
- datastage登陆报错Failed to authenticate the current user against the selected Services Tier
- 设计模式--代理模式
- (八)BaseTableView的简单使用
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
- Light-Head R-CNN 阅读笔记
- 突变:mongoose-os的系统配置API改变