Spark笔记
来源：互联网 发布：触摸屏餐饮软件源码 编辑：程序博客网 时间：2024/06/05 17:21
第三十课Master的注册机制和状态管理
一、Master对其它组件注册的处理
1、Master接受注册的对象主要就是：Driver、Application、Worker；不要补充说明是Executor不会注册给Master，Executor是注册给Driver中的SchedulerBackend的；
2、Worker是在启动后主动向Master注册的，所以如果在生产环境下加入新的Worker到已经正在运行的Spark集群上，此时不需要重新启动Spark集群就能够使用新加入的Worker以
提升处理能力；
3、Master在接收到Worker注册的请求后，首先会判断一下当前的Master是否是Standlone的模式，如果是的话就不处理；然后会判断当前Master的内存数据结构idToWorker中是否
已经有该Worker的注册新，如果有的话此时不会重复注册；
0 0
- Spark笔记
- spark笔记
- Spark笔记
- spark笔记
- spark 笔记
- SPARK笔记
- Spark笔记
- spark笔记
- Spark笔记
- spark笔记
- spark笔记
- spark学习笔记：Spark Streaming
- Spark学习笔记：初识Spark
- Spark学习笔记--Spark基础知识
- spark学习笔记：初识spark
- Spark 学习笔记
- Spark学习笔记
- Spark学习笔记
- 对于grub2引导的非debian系linux更新系统内核的脚本
- 简单的委托使用
- 推荐的自动标注工具
- UVA 1386 cellular automaton [循环矩阵+矩阵快速幂]【数学】
- ffmpeg学习---5.Spawning Threads
- Spark笔记
- Linux命令---文件链接
- 戴尔PowerEdge服务器通过SAP HANA认证
- DDS设计产生线性调频信号（二）
- Android Call requires API level 9 (current min is 4
- ffmpeg学习---6.emacs单步调试ffmpeg
- iOS开发之OCR光学识别储蓄卡以及信用卡
- Java swing系列之JList类(2)
- ffmpeg学习---7.用ffmpeg-0.5学习Tutorial
