Spark作业运行原理
来源:互联网 发布:java socket链接不上 编辑:程序博客网 时间:2024/06/06 07:28
1.Spark启动集群后,Master节点会获取各个Work节点的资源信息,内存和CPU数量信息。
2.Word节点要通过心跳机制去连接master节点,同时要定时向master节点汇报自身的资源情况。
3.master收到work的汇报消息后给work简单反馈。
4.driver节点向master节点提交spark作业,发送注册通知,需要master为application预留相应的资源。
5.master接收到driver的注册通知,管理work节点,分配资源,启动work的executor线程,work启动后反向注册。
6.driver接受到了一组executor的反向注册,会创建sparkContext,加载数据,创建RDD。
7.在创建sparkContext过程中,非常核心的是构建DAGScheduler和TaskSchedluer:
DAGScheduler会为application划分成多个stage阶段,每一个stage会根据RDD中的partitions数目决定一批task来运行,
把这一批Task封装在一个Task set中交个TaskScheduler,TaskScheduler会将这批task set发送到各个work节点中反向注册的executor进程中。(移动计算,不移动数据)
8.在executor中就存放要被计算的各个partition中的数据,同时当taskScheduler中将Task任务
发送到executor中,executor则会从线程池去除一个一个相应的task,执行相关的transformation和action操作。
0 0
- Spark作业运行原理
- Spark作业执行原理
- Spark作业执行原理
- spark 集群运行python作业
- Spark提交作业运行过程
- <SPARK-轉載> spark 集群运行python作业
- Spark运行原理
- Spark运行原理
- Spark 任务运行原理
- spark 运行原理
- spark 任务运行原理
- Spark-core 运行原理
- Spark SQL运行原理
- Spark开发-spark运行原理和RDD
- Spark 的运行流程原理
- Spark运行原理-WordCount解密
- Spark Streaming之运行原理
- localhost方式提交作业到spark运行
- Windows多线程同步
- Java多线程(1)
- Android7.0 自定义view开启硬件加速报错
- C++ 对象的内存布局(上)
- Informatica
- Spark作业运行原理
- Android面试之2017美团面试最新
- iOS移动端WebApp的JS与Native交互(JS与OC)
- c语音动态内存分配,内存重新分配,内存释放,指针运算
- 10个值得深思的 PHP 面试问题
- ajax往服务端发送checkbox的数组方式,服务端采用springMVC架构
- 外连接+聚合
- UEStudio快捷键
- 外链接