Spark的Master分析3(Master状态改变机制分析)

来源:互联网 发布:怎么关闭ftp21端口 编辑:程序博客网 时间:2024/05/17 21:38

在Master.scala源码下进行模式匹配,匹配到DriverStateChanged,如果driver的状态是错误,完成,被杀掉,失败,那么就移除driver。在removeDriver方法中,用scala的find高阶函数去找到driverId对应的driver,如果找到了,Some样例类(Option),将driver从内存缓存中清除。向completeDrivers中加入driver;使用持久化引擎去除driver的持久化信息;设置driver的state和exception;遍历driver所在的worker,移除driver;同样,在最后会调用schedule方法。

如果匹配到了ExecutorStateChanged,会找到executor对应的app,然后再反过来通过app内部的executor缓存获取executor信息;如果executor信息有值,那么就设置executor的当前状态,向driver同步发送ExecutorUpdate消息;然后判断,如果executor的update完成了,那么就从app缓存中移除executor,从运行executor的worker的缓存移除executor;判断,如果executor的退出是非正常的,判断application当前的重试次数是否达到了最大值(10次),如果是,则重新进行调度,否则,那么就进行removeApplication操作,因为executor反复调度都是失败的,那么就认为application也失败了。

0 0