Spark的 DAGschedule & task schedule 区别以及相互联系
来源:互联网 发布:新业软件试用版 编辑:程序博客网 时间:2024/05/17 09:09
这2个概念很容易混淆,需要写一遍文章梳理
spark的 DAGschedule & task schedule 区别以及相互联系
在我们的应用程序的mian 方法中我们定义了sparkcontext ,sparcontext 会帮我们生成这两个调度器 DAGschedule(高级调度器) & task schedule(低级调度器)
DagScheduler:DagScheduler是一个高级的scheduler 层,他实现了基于stage的调度,他为每一个job都计算stage,跟踪哪一个rdd和stage的输出被物化(固化),以及寻找到执行job的最小的调度,然后他会将stage作为tasksets提交给底层的TaskScheduler,由TaskScheduler执行。
TaskScheduler:每一个taskScheduler只为一个单独的SparkContext进行调度安排tasks,DAGScheduler会为每一个stage向TaskScheduler提交Tasksets(也就是说TaskSets是在DAGScheduler完成组装),TaskScheduler会负责向cluster发送tasks,并且调用backend来运行task。并且在tasks失败的时候,重试,然后会将运行task,重试task的事件返回给DAGScheduler。
以上内容是这两个schedule 的主要区别 ,但不是全部 ,梳理中,,,,,
0 0
- Spark的 DAGschedule & task schedule 区别以及相互联系
- Hadoop和Spark的联系和区别
- Schedule task的相关问题
- spark-06-spark:cluster与client的区别和联系
- Application,Task和Process的区别与联系
- Spark的stage & job & task 到底是什么 ,以及划分原理
- Spark的Master、Worker、Executor以及task等概念
- Spark的stage & job & task 到底是什么 ,以及划分原理
- Task Schedule
- Task Schedule
- Task Schedule
- Task schedule
- Task schedule
- Task schedule
- Task Schedule
- Task schedule
- task schedule
- Task schedule
- html5 新的选择器
- HTML——jshtml学习笔记+实例+正则表达式+简单轮播+表格增删改查
- springmvc+mybatis显示正确的日期时间的方法
- 【Codeforces Round #376 (Div. 2)】 Codeforces 731A Night at the Museum
- [51Nod 1185 威佐夫游戏 V2]Wythoff Game+乘法模拟
- Spark的 DAGschedule & task schedule 区别以及相互联系
- dagger2 让你爱不释手:重点概念讲解、融合篇
- 如何成功激活win10专业版
- APIStudio中如何导入已有项目?
- 51nod 1284 2 3 5 7的倍数(容斥定理)
- PHP面向对象_自动加载类__autoload()
- caffe windows编译及配置
- GET方法和POST获取中文参数出现乱码的问题及解决方法
- LeetCode 94. Binary Tree Inorder Traversal