Spark源码走读2——Spark Submit

这里主要说明作业提交的过程源码。SparkSubmit在org.apache.spark.deploy中，submit是一个单独的进程，首先查看它的main方法：

createLaunchEnv方法中设置了一些配置参数：如返回值、集群模式、运行环境等。这里主要查看Client的集群模式。下面看下作业提交序列图：

Client

Client的启动方法preStart。

Client是一个actor，Client提交任务，首先需要封装好DriverDescription参数。包括jar文件url、momory、cpu cores等。然后向Master发送RequestSubmitDriver消息。

Master

Master中接收RequestSubmitDriver消息的处理：

这里主要看下schedule这个方法：

上面源码中。主要看；两个方法launchDriver、launchExecutor

launchDriver

launchDriver：是让worker来启动driver

launchExecutor

Worker

Master向Worker发送了LaunchDriver和LaunchExecutor。这里在就跟踪Worker下怎么处理Master发送的这两个消息。

 LaunchDriver启动driver

这里启动了driver。而它在启动的时候 就是创建目录然后下载jar包然后记载一些参数，最后向work发送worker !DriverStateChanged(driverId, state, finalException)。Worker接收到DriverStateChanged后将消息发给Master。最后Master接收到这个消息，则移除driver

 

LaunchExecutor

Worker创建一个ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程

这里真正的执行方法在ExecutorRunner中的fetchAndRunExecutor方法中。

 接下来从一张流程图中简要描述了作业提交的流程。

1）客户端启动后直接运行用户程序，启动Driver相关的工作：DAGScheduler和BlockManagerMaster等。

2）客户端的Driver向Master注册。

3）Master会让Worker启动Exeuctor。

4）Worker创建一个ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程。 ExecutorBackend启动后会向Driver的SchedulerBackend注册。

5）Driver的DAGScheduler解析作业并生成相应的Stage，每个Stage包含的Task通过TaskScheduler分配给Executor执行。 所有stage都完成后作业结束。