Spark架构剖析
来源:互联网 发布:网络主播睡一次多少钱 编辑:程序博客网 时间:2024/06/08 06:06
Spark Deploymet(部署)
软件中有哪些实体,实体间如何协调工作。
Cluster Manager负责管理和分配集群资源
Driver Program相当于项目经理
Executor 相当于软件工程师
Resource:Core、Memeory、IO:磁盘IO、网络IO
Coarse Grained 粗粒度
DAG Scheduler DAG调度,是高层的调度器
Task Scheduler 任务调度,是底层的调度器
graph of stages RDD partitioning pipelining
task finish & stage failure events
task placement retries on failure
speculation inter-job policy
SparkContext
并发的线程池
RDD graph(图表)
在并发运行的时候,通过Block Manager读写数据
怎么划分不同的阶段?
宽依赖、窄依赖
广度只是深度的副产品而已。
Sheduler Optimizations调度优化
previously computed partition 预先计算的分区
stage阶段,基于内存进行迭代。
shuffle依赖于所有的,需要进行网络传输,无法在内存中进行迭代。
后面的RDD依赖于前面的RDD
Schedule:
RDD Objects:build operator DAG
DAG Scheduler:
split graph into stages of tasks
submit each stage as ready
TaskScheduler:
launch tasks via cluster manager
retry failed or straggling tasks
Worker:
execute tasks
store and serve blocks
软件中有哪些实体,实体间如何协调工作。
Cluster Manager负责管理和分配集群资源
Driver Program相当于项目经理
Executor 相当于软件工程师
Resource:Core、Memeory、IO:磁盘IO、网络IO
Coarse Grained 粗粒度
DAG Scheduler DAG调度,是高层的调度器
Task Scheduler 任务调度,是底层的调度器
graph of stages RDD partitioning pipelining
task finish & stage failure events
task placement retries on failure
speculation inter-job policy
SparkContext
并发的线程池
RDD graph(图表)
在并发运行的时候,通过Block Manager读写数据
怎么划分不同的阶段?
宽依赖、窄依赖
广度只是深度的副产品而已。
Sheduler Optimizations调度优化
previously computed partition 预先计算的分区
stage阶段,基于内存进行迭代。
shuffle依赖于所有的,需要进行网络传输,无法在内存中进行迭代。
后面的RDD依赖于前面的RDD
Schedule:
RDD Objects:build operator DAG
DAG Scheduler:
split graph into stages of tasks
submit each stage as ready
TaskScheduler:
launch tasks via cluster manager
retry failed or straggling tasks
Worker:
execute tasks
store and serve blocks
0 0
- Spark架构深入剖析
- Spark架构剖析
- Spark架构深入剖析
- Spark架构深入剖析
- Spark内核架构剖析
- Spark内核源码深度剖析:Spark内核架构深度剖析
- Spark内核深度剖析之内核架构
- 一行Spark代码的诞生记(深度剖析Spark架构)
- 第33课:Spark架构剖析零基础初探
- 大数据Spark “蘑菇云”行动第33课:Spark架构剖析
- Spark架构
- spark架构
- Spark 架构
- Spark 架构
- spark架构
- Spark架构
- Spark架构
- Spark架构
- MFC之绘制线条
- 如何配置phpmyadmin,让其可以外网ip
- MySQL免安装配置
- 树形结构的数据库表Schema设计
- Java-接口
- Spark架构剖析
- BFS广度优先搜索(3)--poj2251(zoj1940)(基础题)
- Android各种Adapter的用法
- 在Android Studio中进行单元测试和UI测试
- 一道int范围的题
- 【bzoj1202】 HNOI2005—狡猾的商人
- codeforces 712E
- 数码管
- BAT启动执行JAVA JAR文件中的MAIN方法的两种方式