Spark的Master分析3(Master状态改变机制分析)
来源:互联网 发布:怎么关闭ftp21端口 编辑:程序博客网 时间:2024/05/17 21:38
在Master.scala源码下进行模式匹配,匹配到DriverStateChanged,如果driver的状态是错误,完成,被杀掉,失败,那么就移除driver。在removeDriver方法中,用scala的find高阶函数去找到driverId对应的driver,如果找到了,Some样例类(Option),将driver从内存缓存中清除。向completeDrivers中加入driver;使用持久化引擎去除driver的持久化信息;设置driver的state和exception;遍历driver所在的worker,移除driver;同样,在最后会调用schedule方法。
如果匹配到了ExecutorStateChanged,会找到executor对应的app,然后再反过来通过app内部的executor缓存获取executor信息;如果executor信息有值,那么就设置executor的当前状态,向driver同步发送ExecutorUpdate消息;然后判断,如果executor的update完成了,那么就从app缓存中移除executor,从运行executor的worker的缓存移除executor;判断,如果executor的退出是非正常的,判断application当前的重试次数是否达到了最大值(10次),如果是,则重新进行调度,否则,那么就进行removeApplication操作,因为executor反复调度都是失败的,那么就认为application也失败了。
0 0
- Spark的Master分析3(Master状态改变机制分析)
- spark源码学习(二)---Master源码分析(2)-master内组件状态改变机制
- Spark源码分析之Master状态改变处理机制原理
- Spark的Master分析2(Master注册机制原理分析)
- Master原理剖析与源码分析:Master状态改变处理机制原理剖析与源码分析
- spark源码学习(二)---Master源码分析(1)-master的主备切换机制
- Spark系列(六)Master注册机制和状态改变机制
- 3.Master注册机制源码分析和状态改变机制源码分析
- spark源码学习(二)---Master源码分析(3)-master对driver、executor的调度
- Spark的Master分析1(主备切换机制原理分析)
- Spark分析之Master
- spark core源码分析3 Master HA
- spark core源码分析3 Master HA
- 0003.spark2.0源码分析(3)--master注册机制与状态管理
- Spark源码分析-master启动
- Spark源码分析之Master启动和通信机制
- Spark源码分析之Master主备切换机制
- Spark源码分析之Master注册机制原理
- Raspberry Pi的GStreamer配置
- React Native之ViewPagerAndroid讲解与应用
- 95.iOS 本地文件夹缓存情况介绍document,tmp,library,caches 文件路径保存 文件适合保存在那种路径下
- 大型网站技术架构(服务器端)
- PAT(B) - 1028. 人口普查(20)
- Spark的Master分析3(Master状态改变机制分析)
- spring自动任务调度
- 数据库进阶之数据库索引
- MyEclipse10.5-10.6-10.7导出war包报错问题
- 设计模式之门面模式
- JS继承
- C#开放和封闭原则
- PAT 1017Stack (30)
- iOS 中引导页的实现