深入Spark内核:任务调度(1)-基本流程
来源:互联网 发布:直销软件开发 编辑:程序博客网 时间:2024/04/30 15:18
SparkContext是Spark应用的入口并负责和整个集群的交互,创建RDD,累积量(accumulators variables)和广播量(broadcast variables)等, 理解spark的任务调度基本流程,就需要从SparkContext开始。下图是官网Spark的架构图:
DriverProgram即用户提交的程序定义并创建了SparkContext的实例,SparkContext会根据RDD对象构建DAG图,然后将作业(job)提交(runJob)给DAGScheduler。
DAGScheduler对作业的DAG图进行切分成不同的stage<stage是根据shuffle为单位进行划分>,每个stage都是任务的集合(taskset)并以taskset为单位提交(submitTasks)给TaskScheduler。
TaskScheduler通过TaskSetManager管理任务(task)并通过集群中的资源管理器(Cluster Manager)<standalone模式下是Master,yarn模式下是ResourceManager>把任务(task)发给集群中的Worker的Executor, 期间如果某个任务(task)失败, TaskScheduler会重试,TaskScheduler发现某个任务(task)一直未运行完成,有可能在不同机器启动同一个任务(task),哪个任务(task)先运行完就用哪个任务(task)的结果。无论任务(task)运行成功或者失败TaskScheduler都会向DAGScheduler汇报当前状态,如果某个stage运行失败,TaskScheduler会通知DAGScheduler可能会重新提交任务。
Worker接收到的是任务(task),执行任务(task)的是进程中的线程,一个进程中可以有多个线程工作进而可以处理多个数据分片,执行任务(task)、读取或存储数据。
- 深入Spark内核:任务调度(1)-基本流程
- 深入Spark内核:任务调度(1)-基本流程
- 深入Spark内核:任务调度(2)-DAGScheduler
- 深入Spark内核:任务调度(3)-TaskScheduler
- 深入Spark内核:任务调度(4)-Task
- Spark任务调度流程
- spark内核揭秘-spark任务调度系统
- Spark任务调度流程及调度策略分析
- [spark] 从spark-submit开始解析整个任务调度流程
- spark内核揭秘-04-spark任务调度系统个人理解
- spark任务调度
- Spark的任务调度
- Spark任务调度
- spark任务调度
- Spark 任务调度概述
- spark 调度流程
- 内核--任务调度--等待
- Spark任务处理流程
- .NET开发常用工具大盘点
- YTUOJ矩形类定义(复制类对象)
- 大白话解析模拟退火算法
- C++中explicit关键字作用
- git服务器简单搭建 linux
- 深入Spark内核:任务调度(1)-基本流程
- 25个必须记住的SSH命令
- hdu2015(偶数求和)
- linux学习之--SecureCRT 工具上传下载数据
- STM32F407串口的基本使用
- Android Matrix详解
- 写在200小时
- 原理图检查以及一些错误及原因
- 【读书笔记】TiJava——泛型