Spark官网展示了如下的集群运行架构
其中涉及到以下概念：
概念 | 解释 | Application 基于Spark的用户程序，包含了1个Driver Program和若干个Executor进程 Driver Program 运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program；监听特定端口以保证和executor的通信 SparkContext Spark代码中定义的一个对象，提供driver program的功能 Executor Application运行在worker node上的一个进程，负责运行Task，并且将数据存在内存或者磁盘上，该进程在application运行期间一直驻留；每个Application都有各自独立的executors，不同application的executor若不通过外部存储，是无法进行数据交互的 Cluster Manager 在集群上获取资源的外部服务，Spark支持Spark Standalone, YARN, Mesos三种cluster manager；但Spark并不依赖于cluster manager，它只需要能获取executor进程并保持通信就可以了 Worker Node 集群中任何可以运行application代码的节点 Task 被送到某个executor上的工作单元；不同application的task运行在不同的JVM中，有着良好的隔离 Job 包含多个Task组成的并行计算，往往由Spark action催生 Stage 每个Job会被拆分很多组task，每组任务被称为Stage，也可称TaskSet RDD Spark的基本计算单元，可以通过一系列算子进行操作(主要有Transformation和Action操作) DAG Scheduler 根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler Task Scheduler 将stage提交给worker nodes运行并回报结果 Client Deploy Mode 在client mode下，drive program直接运行在spark-submit进程中，因为driver与worker node的网络通信是非常重要的开销，所以提交application的主机需要和work node处在同一物理网络中，以获得较小的网络延迟；同时，需要实时交互的应用如Spark Shell，是比较适合用client mode的 Cluster Deploy Mode 在cluster mode下，driver program进程由cluster管理，以保证与worker node通信时网路延迟小，所以当用户提交application的设备在集群的网络之外(网络延迟大)的时候，需要用cluster mode来部署；目前YARN只支持Python的cluster部署，而mesos还不能支持cluster部署
Spark Standalone Client Mode 运行流程示意图
Spark YARN Cluster Mode 运行流程示意图
