Spark的worker运行分析
来源:互联网 发布:c语言函数声明的标准 编辑:程序博客网 时间:2024/06/16 00:59
Master在启动的时候,会调用LaunchDriver和LaunchExecutor方法,要求Worker启动Driver和Executor。
在Worker内部,接收到消息后,会调用DriverRunner,它的内部启动了一个线程,去创建Driver的工作目录,创建好工作目录后,封装启动Driver的命令,用ProcessBuilder启动Driver。Worker启动Driver的一个基本原理,最核心的就是Worker内部会启动一个线程,就是DriverRunner,然后DriverRunner会负责启动Driver进程,并在之后对Driver进程进行管理。
在Worker内部,接收到消息后,还会调用ExecutorRunner,它的内部启动了一个线程,去创建Executor的工作目录,创建好工作目录之后,封装启动Executor的命令,用ProcessBuilder启动Executor。
Executor启动起来后,会找到对应的Driver去注册自己。
Worker启动Executor,其实和Driver的原理是一致的,都是通过一个Worker内部的本地线程,也就是ExecutorRunner,去启动Executor进程,然后在之后对Executor进程进行管理。
0 0
- Spark的worker运行分析
- Spark分析之Worker
- Spark源码分析-worker
- Spark源码分析之Worker
- Spark源码分析之Worker
- Spark源码分析之Worker
- Spark的Master和Worker集群启动的源码分析
- Spark的Master,Worker调试
- Spark集群某些worker无法停止的原因分析和解决
- Spark的Worker/Instance /Executor之间的
- spark-源码-Master与Worker的启动
- spark worker的原理和源码解析
- spark源码学习(三)---worker源码分析-worker启动driver、executor分析
- spark源码分析--Master和worker建立连接
- spark core源码分析4 worker启动流程
- spark core源码分析4 worker启动流程
- spark源码分析Master与Worker启动流程篇
- spark 1.6.0 core源码分析4 worker启动流程
- JavaSE学习笔记之-----常用类
- Leetcode常用五大算法思想
- NYOJ 102 次方求模(快速求幂)
- 常用代码片段整理
- byteConvertInputStream
- Spark的worker运行分析
- unity调用java
- xcopy拷贝目录并排除特定文件
- lintcode longest-common-subsequence 最长公共子序列 证明
- [李景山php]每天laravel-20160927|Factory.php
- 欢迎使用CSDN-markdown编辑器
- 使用 VisualVM 进行性能分析及调优
- Android studio 下 抬头菜单图标不显示解决方案
- 数据结构总览