Spark的Master分析2(Master注册机制原理分析)
来源:互联网 发布:sql server是什么软件 编辑:程序博客网 时间:2024/06/06 08:37
1.Worker的注册过程
Spark的Worker在启动之后,就会主动向Master进行注册。Master会对Worker进行过滤,将状态为DEAD的Worker过滤掉;对于状态为UNKNOWN的Worker,清理掉旧的Worker信息,替换为新的Worker信息。然后Master会把完成过滤条件的Worker加入内存缓存(HashMap)中,用持久化引擎将Worker信息进行持久化(文件系统或者Zooleeper),最后会调用scheduler方法。
2.Driver的注册过程
用Spark-submit提交spark Application的时候,首先会注册Driver,将Driver信息放入内存缓存(HashMap)中;然后加入等待调度队列(ArrayBuffer);接着会用持久化引擎将Driver信息持久化;最后调用scheduler方法进行调度
。
3.Application的注册过程
Driver启动好之后,执行编写的Application代码,执行SparkContext初始化,底层的SparkDeploySchedulerBackend,会通过AppClient内部的线程ClientActor,发送RegisterApplication到Master进行Application的注册。Master会将Application的注册信息放入内存缓冲(HashMap),然后将Application加入等待调度的Application队列(ArrayBuffer),然后利用持久化引擎将Application持久化,调用scheduler方法进行调度。
- Spark的Master分析2(Master注册机制原理分析)
- Spark源码分析之Master注册机制原理
- Spark的Master分析1(主备切换机制原理分析)
- Spark Master的注册机制
- Spark的Master分析3(Master状态改变机制分析)
- Spark内核源码深度剖析:Master注册机制原理剖析与源码分析
- spark源码学习(二)---Master源码分析(1)-master的主备切换机制
- Spark源码分析之Master状态改变处理机制原理
- spark源码学习(二)---Master源码分析(2)-master内组件状态改变机制
- spark源码分析之master注册application
- Spark分析之Master
- Master原理剖析与源码分析:注册机制原理剖析与源码分析
- Spark内核源码深度剖析:Master主备切换机制原理剖析与源码分析
- spark源码学习(二)---Master源码分析(3)-master对driver、executor的调度
- Spark源码分析-master启动
- Master原理剖析与源码分析:Master状态改变处理机制原理剖析与源码分析
- Spark源码分析之Master启动和通信机制
- Spark源码分析之Master主备切换机制
- Android中SparseArray,ArrayList,LinkedList,Set,HashMap,ArraySet
- JSON语法及其在android下的解析-->笔记一
- 并发集合
- 书店管理实例(TreeMap树状映射表)
- 十大开源安卓应用程序的开发框架
- Spark的Master分析2(Master注册机制原理分析)
- oracle利用INLIST ITERATOR优化SQL
- 一起talk C栗子吧(第一百七十七回:C语言实例--字符及字符串输入函数二)
- 关于杭州的记忆
- 【MySQL】在windows系统中安装压缩版MySQL并修改root可以在远程访问
- mysql-数据备份系列
- 从输入URL到页面加载完的过程
- Sort Algorithm-->Select Sort
- LeetCode: Best Time to Buy and Sell Stock II