spark内核执行流程简单说明

前提：基于spark standalone模式进行说明。

Driver：实际是通过spark-submit脚本提交的内部创建sparkContext的main程序。

sparkContext：最重要的是创建并初始化sparkContext对象。

DAGScheduler:根据代码业务逻辑，将transformation划分出各个stage，再对每一个stage分配一批task，构成taskset交给taskscheduler

TaskScheduler:将taskset序列化后，分发给executor。

SchedulerBackend:用于接受executor的反向注册，与TaskScheduler交织一起完成任务。

SparkUI:用于监控。Spark Application在运行过程中对资源（cpu、core、memory）的消耗，查看DAG以及application执行各个阶段stage的

运行状态，每个executor执行开始结束时间、每个task的开始结束时间、处理的数据量等等。

通过执行spark-submit脚本，获取执行参数，并将这些参数封装到类DriverDescription中，创建sparkContext，向saprk集群中的master

节点发送该application的信息(基于AKKA Actor事件驱动模型的RegisterApplication的样例类)

Spark集群

master节点：接受到Driver发送的注册请求，根据请求资源信息，在work中分配相应的executor、cpu、core、memory(也是基于事件驱动模型向worker发送启动相应的executor

指令)

worker节点：接受master发送的指令后，在当前节点上启动相应的executor

executor：向SchedulerBackend反向注册，TaskScheduler将taskset分批发送对应的executor(所以task需要序列化)

      executor获取一个个的task(反序列化)，并将其添加至本地线程池中。