【Spark2.0源码学习】-7.Driver与DriverRunner
来源:互联网 发布:python url解码 编辑:程序博客网 时间:2024/06/06 05:31
承接上一节内容,Client向Master发起RequestSubmitDriver请求,Master将DriverInfo添加待调度列表中(waitingDrivers),下面针对于Driver进一步梳理
一、Master对Driver资源分配
大致流程如下:
waitingDrivers与aliveWorkers进行资源匹配,
- 在waitingDrivers循环内,轮询所有aliveWorker
- 如果aliveWorker满足当前waitingDriver资源要求,给Worker发送LaunchDriver指令并将 waitingDriver移除waitingDrivers,则进行下一次waitingDriver的轮询工作
- 如果轮询完所有aliveWorker都不满足waitingDriver资源要求,则进行下一次waitingDriver的轮询工作
- 所有发起的轮询开始点都上次轮询结束点的下一个点位开始
二、Worker运行DriverRunner
Driver的启动,流程如下:
- 当Worker遇到LaunchDriver指令时,创建并启动一个DriverRunner
- DriverRunner启动一个线程【DriverRunner for [driverId]】处理Driver启动工作
- 【DriverRunner for [driverId]】:
- 添加JVM钩子,针对于每个diriverId创建一个临时目录
- 将DriverDesc.jarUrl通过Netty从Driver机器远程拷贝过来
- 根据DriverDesc.command模板构建本地执行的command命令,并启动该command对应的Process进程
- 将Process的输出流输出到文件stdout/stderror,如果Process启动失败,进行1-5的秒的反复启动工作,直到启动成功,在释放Worker节点的DriverRunner的资源
三、DriverRunner创建并运行DriverWrapper
DriverWrapper的运行,流程如下:
- DriverWapper创建了一个RpcEndpoint与RpcEnv
- RpcEndpoint为WorkerWatcher,主要目的为监控Worker节点是否正常,如果出现异常就直接退出
- 然后当前的ClassLoader加载userJar,同时执行userMainClass
- 执行用户的main方法后关闭workerWatcher
阅读全文
0 0
- 【Spark2.0源码学习】-7.Driver与DriverRunner
- 【Spark2.0源码学习】-10.Task执行与回馈
- 【Spark2.0源码学习】-8.SparkContext与Application介绍
- Spark2.0源码学习-Job提交与Task的拆分
- 【Spark2.0源码学习】-1.概述
- 【Spark2.0源码学习】-4.Master启动
- 【Spark2.0源码学习】-5.Worker启动
- 【Spark2.0源码学习】-6.Client启动
- 【Spark2.0源码学习】-9.Job提交与Task的拆分
- 【Spark2.0源码学习】-9.Job提交与Task的拆分
- 【Spark2.0源码学习】-2.一切从脚本说起
- 【Spark2.0源码学习】-3.Endpoint模型介绍
- spark2.2.0源码学习过程记录:序
- spark2.2.0源码学习过程记录:Day3
- spark2.2.0源码学习过程记录:Day4
- spark2.2.0源码学习过程记录:Day5
- spark2.2.0源码学习过程记录:Day6
- spark2.2.0源码学习过程记录:Day7
- 将数据集做成VOC2007格式用于Faster-RCNN训练
- 计算器的改良(NOIP2000)
- C语言宏定义方法总结
- CDN及CDN加速原理
- 算法提高 ADV-74 计算整数因子
- 【Spark2.0源码学习】-7.Driver与DriverRunner
- 阴阳师PC官网(仿-->17/5月) -- 知识点
- 爬虫学习笔记(一)——Requests
- TCP的流量控制
- 第一天学php
- C语言实现一个Window控制台带彩色,且可以用方向键选择并确认的菜单式列表(二) ---学生信息管理系统
- Monkey详解(脚本篇---Monkey API)
- 调用Word组件转pdf遇到的烦恼与解决方案
- 算法提高 ADV-75 简单计算器