Spark术语解释

术语解释

名词 含义 Application 用户在spark上的程序，由一个driver程序和数个executor组成 Application jar 包含用户Spark应用程序的jar包 Driver program 运行main函数并且创建SparkContext的程序 Cluster manager 集群的资源管理器，可以获取集群中资源的外部服务 Deploy mode driver的部署运行模式，分”cluster”和”client”两种模式。在”cluster”模式下，框架会在集群中的任意一台机器上启动driver；在”client”模式下，dirver会在集群外被提交者启动。 Worker node 集群中任何一个可以运行spark应用代码的节点。Worker Node就是物理节点，可以在上面启动Executor进程。 Executor 应用在worker节点上启动的进程，运行任务，并将数据保存在内存或者磁盘上。每个应用都有各自独立的executor。 Task 被发送到executor上的工作单元。 Job 包含很多个task的并行计算，可以认为是Spark RDD中的action，每个action的计算会生成一个job。 Stage 每个job会被拆分成多组task，每组task被称为stages（类似MR中的map stage 和 reduce stage）。