Spark总体架构
来源：互联网 发布：apache限制ip访问频率 编辑：程序博客网 时间：2024/05/21 22:41
Spark的架构图如下图所示：
从上面的架构图中，我们可以看出，整个架构可以分为一下几部分：
Client：用户提交作业的客户端
Driver：运行application的main函数，创建sparkcontext初始化运行环境, 在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。
ClusterManager：资源调度器，目前主流的资源调度器包括standalone cluster manager, Mesos ,YARN
Worker：可以运行application代码的节点。每个节点可以启动一个或多个executor进程，每个executor进程维护一个线程池运行多个task
0 0
- Spark总体架构
- Spark随谈（一）—— 总体架构
- 总体架构
- spark总体概况
- spark总体概况
- 软件总体架构
- lucene的总体架构
- Lucene总结：总体架构
- MediaScanner总体架构
- lucene的总体架构
- 系统总体架构-1
- Lucene的总体架构
- IMS总体架构
- MapReduce总体架构分析
- 嵌入式软件总体架构
- Apache Mesos总体架构
- Lucene的总体架构
- Apache Mesos总体架构
- eclipse maven plugin 插件 安装 和 配置
- 2.1.1-2.1.2 变量的基本类型及转换
- 二手电脑与Ubuntu的经历-2-显卡知识
- 【30.49%】【codeforces 569A】Music
- 移动端屏幕适配rem
- Spark总体架构
- 初识HDFS分布式文件系统
- Object类到底实现了哪些方法
- 周四沙龙总结-付金田-2016年12月8日
- 二手电脑与Ubuntu的经历-3-二手电脑购买技巧
- TCP、UDP、IP 协议分析
- Excel读取成sql插入语句
- HDU 2647 Reward 拓扑排序
- virtualbox修改虚拟机mac地址后不能识别网卡问题
