Spark系列(五)Master主备切换机制
来源:互联网 发布:linux shell 函数调用 编辑:程序博客网 时间:2024/05/07 01:56
切换流程图
流程说明:
Standby Master模式
1. 使用持久化引擎读取持久化的storeApps、storeDrivers、storeWorkers,持久化引擎有FileSystemPersistenceEngine和ZookeeperPersistenceEngine
2. 判读如果storedApps、storedDrivers、store的Workers有任何一个非空就继续向后执行.
3. 持久化引擎的Application、Driver、Worker的信息重新注册到Master内部的内存缓存结构中
4. 将Application和Worker的状态都修改为UNKONWN,然后向Application所对应的Driver及Worker发送Standby Master的地址
5. Driver和Worker在接收到Master发送的地址后,返回响应消息给新的Master
6. Master在陆续收到Driver和Worker发送来的响应消息后,会使用completeRecovery()方法对没有发生响应消息的Driver和Worker进行处理,过滤掉它们的信息。
7. 最后调用Master的schedule()方法,对正在等待资源调度的Driver和Application进行调度,比如在某个Worker上启动Driver或者为Application在Worker上启动它的Executor.
源码分析
创建持久化引擎
入口文件包名:org.apache.spark.deploy.master
创建持久化引擎在preStart()方法中,通过spark.deploy.recoveryMode配置参数确定持久化引擎的类别,缺省值为none.
持久化数据的处理
completeRecovery方法分析
功能:
将Application和Worker过滤出来目前的状态,如果是UNKNOWN的进行遍历,分别调用removeWorker和finishApplication方法,对可能已经故障或者已经死掉的Application和Worker进行清理。
清理过程:1、从内存缓存结构中移除。2、从相关的组件的内存中移除。3、从持久化存储中移除。
- Spark系列(五)Master主备切换机制
- Spark源码分析之Master主备切换机制
- spark master注册机制和主备切换源码
- spark源码学习(二)---Master源码分析(1)-master的主备切换机制
- Spark的Master分析1(主备切换机制原理分析)
- Spark内核源码深度剖析:Master主备切换机制原理剖析与源码分析
- spark源码分析之Master源码主备切换机制分析
- Spark系列(六)Master注册机制和状态改变机制
- 2.Master主备机制切换源码分析
- Spark1.6源码之Master主备切换机制
- Spark Master的注册机制
- Master原理剖析与源码分析:主备切换机制原理剖析与源码分析
- Spark系列(七)Master中的资源调度
- 【Spark系列】三、Spark工作机制
- Spark源码分析之Master启动和通信机制
- Spark源码分析之Master状态改变处理机制原理
- Spark源码分析之Master注册机制原理
- spark源码学习(二)---Master源码分析(2)-master内组件状态改变机制
- Java中JOB介绍与Spring中JOB的配置
- Spark系列(四)整体架构分析
- 数据结构(三)实现AVL树
- 中国计算机学会推荐国际学术会议和期刊目录——交叉/综合/新兴
- ResNet && DenseNet(实践篇)
- Spark系列(五)Master主备切换机制
- matlab-cell的介绍
- UIScollView容易被忽视的属性
- 【Get深一度】小波分析概念2——消失矩阶数是什么意思,通俗解释
- 数据结构(四)常用排序算法-选择、插入、希尔
- Spark系列(六)Master注册机制和状态改变机制
- HTML应用安全
- ios学习--Runtime 基础知识
- bat根据当前时间生成文件名称