spark之核心概念简介
来源:互联网 发布:淘宝子账号怎么删除 编辑:程序博客网 时间:2024/05/17 04:25
ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器。
Worker:从节点,负责控制计算节点,启动Executor。在YARN模式中为NodeManager,负责计算节点的控制。
Driver:运行Application的main()函数并创建SparkContext。
Executor:执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
SparkContext:整个应用的上下文,控制应用的生命周期。
RDD:Spark的基本计算单元,一组RDD可形成执行的有向无环图RDD Graph。注意:RDD不是真正的存储数据的单元,RDD只是一个抽象的概念,数据真正存在在RDD对应的partition分区中
DAGScheduler:实现将Spark作业分解成一到多个Stage,每个Stage根据RDD的Partition个数决定Task的个数,然后生成相应的Task set放到TaskScheduler中。
TaskScheduler:将任务(Task)分发给Executor执行。
SchedulerBackend:
Stage:一个Spark作业一般包含一到多个Stage。
Task:一个Stage包含一到多个Task,通过多个Task实现并行运行的功能。
Transformations:转换(Transformations) (如:map, filter, groupBy, join等),Transformations操作是Lazy的,也就是说从一个RDD转换生成另一个RDD的操作不是马上执行,Spark在遇到Transformations操作时只会记录需要这样的操作,并不会去执行,需要等到有Actions操作的时候才会真正启动计算过程进行计算。
Actions:操作(Actions) (如:count, collect, save等),Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。
SparkEnv:线程级别的上下文,存储运行时的重要组件的引用。
SparkEnv内创建并包含如下一些重要组件的引用。
MapOutPutTracker:负责Shuffle元信息的存储。
BroadcastManager:负责广播变量的控制与元信息的存储。
BlockManager:负责存储管理、创建和查找块。
MetricsSystem:监控运行时性能指标信息。
SparkConf:负责存储配置信息
- spark之核心概念简介
- Spark入门(一):核心概念简介
- Spark的核心概念
- Spark核心概念
- Spark核心概念理解
- Spark核心概念
- Spark核心概念
- Spark及其核心概念理解
- Spark简介:适用场景、核心概念、创建RDD、支持语言等介绍
- Struts2之核心概念
- Spark的核心概念——RDD
- 2.1 Spark基本原理以及核心概念
- 银行核心系统概念入门简介
- 计算机基础核心概念的实现简介
- Linux核心概念之--------------终端
- RxJS 核心概念之Subject
- kafka基础之核心概念
- RxJS 核心概念之Subject
- 快速排序(java实现)
- 生成0~n-1的排列
- QNX 学习笔记-导入BSP-导入qnx工程bsp驱动包
- 安卓党福音:Google Pixel 的 HDR+ 也可以安装到其他手机上啦
- Unity的生命周期函数
- spark之核心概念简介
- 动态分配和存储方案
- CPA暴利玩法,带你月入10000¥
- python 类属性,实例属性,类方法,静态方法
- Test 8 for NOIP- Result for Day1
- 4517: [Sdoi2016]排列计数
- ORA-00911: 无效字符 问题和解决
- Vwmare如何隐藏虚拟机图形界面,减少内存占用空间
- web前端学习日记32-----vuejs相关学习