BlockManager原理剖析与源码分析
来源:互联网 发布:销售数据统计软件 编辑:程序博客网 时间:2024/06/06 06:55
- BlockManager 会运行在 driver 和 Executor 上面,在 driver 上面的 BlockManager
是负责管理整个集群所有 Executor 中的 BlockManager,BlockManager 本身也是 Master-Slave
结构的,所谓Master-Slave 结构就是一切的调度和工作都是由 Master 去触发的,Slave本身就是专注于干活的,而
Executor 在启动的时候,一定会实例化 BlockManager。 基于应用程序的 AppId 去初始化 BlockManager,这个 initialize 方法也会启动
BlockTransferService 和 ShuffleClient,同时注册 BlockManagerMaster,启动
BlockManagerWorker endpoint,当 Executor 实例化的时候会通过
BlockManager.initialize 来实例化 Executor 上的 BlockManager 并且会创建
BlockManagerSlaveEndpoint 这个消息循环体来接受 Driver 中的 BlockManagerMaster
发过来的指令,例如删除 Block 的指令。 当 BlockManagerSlaveEndpoint 实例化后,Executor 上的
BlockManager 需要向 Driver 上的 BlockManagerMasterEndpoint 注册发送消息到 BlockManagerSlaveEndpoint
BlockManagerMasterEndpoint 接受到 Executor 上的注册信息并进行处理,每一个 BlockManager 都会对应一个 BlockManagerInfo,然后通过 executorId 看看能不能找到
BlockManagerId,BlockManagerMaster 包含了集群中整个 BlockManager
注册的信息。经过了这几个步骤后完成了注册的工作,这跟 Spark-Shell 启动时的日志信息是一致的。BlockManagerMaster 只有一个 dropFromMemory 是指当我们内存不够的话,我们尝试释放一些内存给要使用的应用程序。
- BlockManager原理剖析与源码分析
- 10.BlockManager源码分析
- BlockManager架构原理源码解析
- BlockManager原理和源码解密
- Executor原理剖析与源码分析
- Worker原理剖析与源码分析
- DAGScheduler原理剖析与源码分析
- TaskScheduler原理剖析与源码分析
- Shuffle原理剖析与源码分析
- CacheManager原理剖析与源码分析
- Spark源码分析之BlockManager
- Master原理剖析与源码分析:主备切换机制原理剖析与源码分析
- Master原理剖析与源码分析:注册机制原理剖析与源码分析
- Master原理剖析与源码分析:Master状态改变处理机制原理剖析与源码分析
- spark源码学习(十)--- blockManager分析
- Spark源码分析之BlockManager通信机制
- 6.job触发流程原理剖析与源码分析
- job触发流程原理剖析与源码分析
- 刚坐地铁回来, 买了个token
- 归档,压缩,rsync传输文件
- UVALive 3415 Guardian of Decency
- Scala学习资料
- 快速排序
- BlockManager原理剖析与源码分析
- 模拟实现strcpy函数
- 2015年蓝桥杯A组C/C++第三题奇妙的数字
- C/C++:多进程使用dlopen、dlsym、dlclose装载动态库
- JZOJ 5043. 【NOI2017模拟4.4】保持平衡
- 2016 CCPC Hangzhou Onsite A
- solr集群的初次搭建
- XML注释中不允许出现字符串"--"
- Java 标准IO、直接IO、内存映射的访问磁盘区别点