Spark分析之Worker
来源:互联网 发布:端口测试失败 编辑:程序博客网 时间:2024/06/06 08:44
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}def tryRegisterAllMasters() { for (masterUrl <- masterUrls) { logInfo("Connecting to master " + masterUrl + "...") val actor = context.actorSelection(Master.toAkkaUrl(masterUrl)) actor ! RegisterWorker(workerId, host, port, cores, memory, webUi.boundPort, publicAddress) }}
Worker的主要功能:
1、向master注册
2、处理事件
RegisteredWorker/RegisterWorkerFailed
LaunchExecutor/ExecutorStateChanged/KillExecutor
LaunchDriver/KillDriver
WorkDirCleanup/MasterChanged/Heartbeat/DriverStateChanged/RequestWorkerState
0 0
- Spark分析之Worker
- Spark源码分析之Worker
- Spark源码分析之Worker
- Spark源码分析之Worker
- Spark源码分析-worker
- Spark集群启动之Master、Worker启动流程源码分析
- Spark源码分析之worker节点启动driver和executor
- Spark源码分析之Worker启动通信机制
- Spark的worker运行分析
- Spark RPC之Worker实现
- Spark分析之Master、Worker以及Application三者之间如何建立连接
- Spark学习之2:Worker启动流程
- Spark问题8之worker lost
- nginx之worker启动分析
- spark源码学习(三)---worker源码分析-worker启动driver、executor分析
- Spark的Master和Worker集群启动的源码分析
- spark源码分析--Master和worker建立连接
- spark core源码分析4 worker启动流程
- logistic回归
- 前k小、前k大算法
- eclipse中常用的快捷键
- 使用蓝图(Blueprint)绑定多播委托(Multicast Delegate)【UE4】【C++】
- L2-006. 树的遍历
- Spark分析之Worker
- css sprites(CSS 精灵):如何获取一张集成拼合图片上的其他图片
- 编写规范化JavaScript代码的方法总结
- 面试
- 谈了这么久的Project Tango?我们终于把它讲清楚
- 机器学习之数据清理经验
- maven的介绍和安装
- Spark分析之Master、Worker以及Application三者之间如何建立连接
- 解析大小端及其判断