Spark内核机构图
来源:互联网 发布:win10系统图标网络关闭 编辑:程序博客网 时间:2024/05/16 05:47
Spark内核机构图
- Driver:就是我们用来提交编写的Spark程序的一台机器,在Driver中最重要的一件事—创建SparkContext
Application :就是我们编写的程序,类里面创建了SparkContext的程序
spark-submit: 就是用来向Spark集群提交application的程序,spark-submit,其实说白了就是一个继承了AKKA Actor的actor模型,如果不继承的话,就无法与我们进行master进行通信,就不能向master注册我们编写的application
- SparkContext : 我们在创建SparkContext的过程中,最重要的3件事,其一创建DAGSechedule(有向无循环图调度者),其二创建TaskScheduler(任务调度者),三就是依照TaskSecheduler创建TaskSchedulerBackend(任务调度后端)
- DAGScheduler: DAG:有向无环图(Directed acyclic graph)在创建好程序之后,就会把各种算子交给DAGScheduler进行整体的一个调度,我们每一个Application在运行的时候,都会被DAGScheduler分成若干 个Stage,是由相关的划分算法来做的。当DAGScheduler接受到任务信息之后,就会指派相关的TaskScheduler对任务进行具体的调度,让我们taskset中的的一批task去执行具体的任务
- TaskScheduler:TaskScheduler ,就会组织,调度task进行任务执行。
当worker中的 executor 启动之后,会主动反向注册到Driver,当driver收到所有的executor(一组executor)反向注册信息之后,就开始加载数据创建RDD ,将各种算子交给DAGScheduler管理。 - 问题:driver是如何知道它收到了一组内所有的executor呢?Master接收到Driver的注册请求后,进行任务分配,通知各个worker进行接收任务,worker结合之后会做出回应给master任务接收到了,master会告诉driver,worker已经接收任务了,并且master此时此刻将任务分配计划,交给DRIVER,Driver按照这个分配计划,就可以知道是否一组内Executor是否已经全部到达
- Master: Master主要用于集群的监控,运行资源的分配,Master在分配资源的时候,有两种分配方式,一种spreadapps,一种是非spreadapps,Master实际就是一个AKKA Actor的Actor模型接收到Driver发过来的注册通知,然后衡量任务,需要如何的资源,交给Worker进行干活,其实说白了就是让worker来启动executor进程
- taskRunner: 在我们的task分配过来的时候,executor会从线程池中抽取相应的task,把它给我封装成 taskRunner,执行具体的flatmap , map ,reduceByKey等等操作
实际上,task任务分为两种,ShuffleMapTask,ResultTask,ResultTask说白了就是执行action的task,其余都是ShuffleMapTask
阅读全文
0 0
- Spark内核机构图
- Spark 内核解析图
- 大讲台机构Spark基础
- spark内核
- Spark内核
- 内核层的进程机构--KPROCESS
- Spark开发-Spark内核细说
- Spark内核系列(一)Spark内核架构
- spark内核简介
- Spark内核-笔记1
- Spark内核研究
- Spark内核架构解密
- spark内核架构
- Spark内核架构
- Spark内核架构
- Spark内核架构
- Spark内核介绍
- Spark内核架构
- hdu 1789 How many ways(记忆化搜索)
- mysql的主从复制原理
- 呵呵以呵呵
- CS 400 Palindromic Tree 思维+构造(回文子串)
- pandas 读取大文件
- Spark内核机构图
- leetcode题解-13. Roman to Integer && 14. Longest Common Prefix && 20. Valid Parentheses
- 习题5 5.4
- 3.4
- Win10环境下,拦截WM_NCCREATE消息时的一个诡异BUG
- JavaScript——创建文本节点
- 微信公众号配置
- JZOJ5465. 【NOIP2017提高A组冲刺11.9】道路重建
- 1002. A+B for Polynomials (25)