【spark】之Job调度模式
来源:互联网 发布:淘宝css滚动栏 编辑:程序博客网 时间:2024/06/06 06:38
用户通过不同的线程提交的Job可以并发运行,但是受到资源的限制。Job到调度池(pool)内申请资源,调度池会根据工程的配置,决定采用哪种调度模式。
- FIFO模式
在默认情况下,Spark的调度器以FIFO(先进先出)方式调度Job的执行。每个Job被切分为多个Stage。第一个Job优先获取所有可用的资源,接下来第二个Job再获取剩余资源。以此类推,如果第一个Job并没有占用所有的资源,则第二个Job还可以继续获取剩余资源,这样多个Job可以并行运行。如果第一个Job很大,占用所有资源,则第二个Job就需要等待第一个任务执行完,释放空余资源,再申请和分配Job。如果是相同的Job不同的Stage,则优先执行较早的Stage。
- FAIR模式
阅读全文
0 0
- Spark之Job调度模式
- 【spark】之Job调度模式
- spark源码之Job执行(2)任务调度taskscheduler
- spark学习-49-Spark的job调度
- Spark Job 调度 (官方文档翻译)
- Spark源码分析之二:Job的调度模型与运行反馈
- spark-streaming系列------- 1. spark-streaming的Job调度 上
- spark-streaming系列------- 2. spark-streaming的Job调度 下
- spark入门之三 spark job提交
- Spark job在hue-oozie中的另一种方式调度
- SPARK提交job的几种模式
- spring之quartz-Job自动调度
- Elastic-Job-Lite详解之作业调度
- 深入浅出之Spark任务调度
- spark 源码学习之job cancel 与job desc
- Spark Streaming源码解读之Job详解
- Spark源码解读之Job提交
- Spark分析之Job Scheduling Process
- [BZOJ]3257树的难题 树型DP
- java redis 删除指定前缀的key
- Temp
- Ubuntu下配置Samba
- Android:WebView与 JS 交互方式
- 【spark】之Job调度模式
- visibility
- HTTPS协议和SSL协议完整交互过程
- POJ2396 Budget
- JAVA异常-ERROR
- 安卓运行时监听配置更改:sim卡、本地语言、键盘显示或隐藏、字体大小、UI模式、屏幕方向、屏幕布局(另一个屏幕)、可用屏幕大小(横纵向)、无屏幕大小(外接屏幕)。
- SQL语句创建数据库和日志文件
- 判断网络状态的工具类__NetWorkUtil
- 取出list里面某个字段的值