Spark源码分析——Spark整体架构

Spark源码分析——Spark架构

---

常用术语

术语 描述 Application 用户编写的程序。（Driver端的SparkContext、SparkConf和运行在Executors上用户编写的业务逻辑代码即map、reduce、reduceByKey等） Driver 执行用户编写应用程序的main()方法并创建SparkContext Worker 具体运行应用程序的节点 Executor 运行Worker节点上的进程，用来执行具体的Task Task 被送到Executor上执行的工作单位，Task有ShuffleMapTask和ResultTask Job 包含很多Task的并行计算，可以理解为Spark RDD里面的action，每一个action会生成一个Job Stage 每组Job都会被划分成若干个Stage Cluster Manager 集群的资源管理器，在集群上获取资源的外部服务，例如Standalone、Mesos、Yarn Partition 类似于Hadoop的Split，计算是以partition为单位进行的

---

Spark架构图–Standalone提交模式

整个Spark应用程序的执行就是stage分批次作为TaskSet提交到executor上执行，每个Task针对RDD的一个partition，执行我们定义的算子和函数。直到所有操作执行完为止。