Spark各部分功能
来源:互联网 发布:淘宝达人怎么直播 编辑:程序博客网 时间:2024/05/16 18:32
转载地址 :http://blog.csdn.net/wyc09/article/details/16342809
Driver,Master,Worker,Executor
每个App通过Driver使用Cluster:首先向Master注册App,然后每个Worker为其创建一个Executor。
RDD,Partition,Task
每个RDD包含多个Partition,为了计算RDD,在Executor上为RDD的每个Partition创建一个Task负责计算相应的Partition,在一个Executor上可以创建多个Task。
BlockManager
每个Executor使用一个BlockManager。BlockManager通过MemoryStore维护加载到内存的Partition,MemoryStore的存储容量有上限。BlockManager通过DiskStore维护从内存交换到磁盘的Partition。RDD的StorageLevel在Driver端设置,在得到RDD的计算结果后,BlockManager根据RDD的StorageLevel将RDD的Partition加入MemoryStore或DiskStore。
Master的责任
Worker的责任
* 根据Master的指示,为App启动Executor进程,通过设置JVM参数限制Executor可以使用的内存量,另外向Executor进程传递一个表示可用CPU核数量的参数,Executor进程并不直接根据该参数限制自身使用的CPU核数量,而是将该参数报告给App,App将根据该参数限制向Executor请求的并发任务的数量。
Executor的责任
* 接受并执行由App请求执行的任务——将指定函数应用到指定数据集(RDD的一个Partition)的各个元素。数据集可能已经被计算,由本地BlockManager或远程Executor的BlockManager缓存在内存或磁盘;数据集也可能尚未被计算,这时就需要调用RDD的compute方法计算数据集,并将结果缓存在本地BlockManager的内存或磁盘。
App的责任
* 记录RDD的生成链和存储级别,并在触发对RDD的Action操作时向Executor请求执行并发任务以完成Action操作。
Task提交过程
- Spark各部分功能
- Qt的各部分功能
- Qt的各部分功能
- 整体大于各部分功能之和
- Android电话功能各部分深入探讨
- Android电话功能各部分深入探讨
- Android电话功能各部分深入探讨
- USRP工作流程及各部分功能
- Flex Cairngorm 详解,各部分功能具体分析和用法。
- 浅谈门禁系统的组成及各部分的功能
- 经典Java线程池的代码及各部分功能简介
- php中MVC的各部分功能及其作用
- Spark算子及功能
- Spark简介与功能
- spark实现join功能
- 集成运放电路的组成和各部分电路的功能特点
- 学习spark:四、Spark MLlib1.51功能一览
- 英文简历各部分写作对策
- ReentrantReadWriteLock
- ZOJ 1914 Arctic Network (POJ 2349 UVA 10369) MST
- shell统计每列的重复个数
- 一天一linux命令(22) wall,write用户间发送信息
- 项目进阶 之 持续构建环境搭建(二)Nexus私服器
- Spark各部分功能
- java——reference类型和Primitive类型
- Populating Next Right Pointers in Each Node II
- Element属性方法的浏览器兼容性概览
- uva 1422 - Processor(二分+优先队列)
- MYGUI3.2改造——与HGE结合,实现资源打包
- Android之TextView使用
- Lync 2010 部署过程中碰到的问题
- Java开发中常见的危险信号(中)