spark架构总结
来源:互联网 发布:本科做网络维护 编辑:程序博客网 时间:2024/06/05 17:04
spark架构可分为:driver(进程),executor(进程),task(进程)
1. driver(进程)
主要功能:初始化操作,发送请求给集群master,注册spark应用程序。master在接受spark应用程序注册申请后,发送请求给worker,进行资源(executor)调度和分配。driver运行在提交spark任务的机器上。执行action之前transformation和程序都运行在driver上(lazy),只有在有action操作后,提交task到之前注册的worker上的executor上执行。
2. executor(进程)
主要功能:worker(进程)在接受到master的请求之后,成为spark应用程序的executor,并在driver上进行反注册,,负责自己内存中存储的RDD的partition,启动其他进程和线程,对RD上的partition进行计算处理。executor启动多个线程执行tast执行各种算子操作。
0 0
- spark架构总结
- Spark 运行架构核心总结
- spark:架构+运行机制的一些总结--50
- Spark架构
- spark架构
- Spark 架构
- Spark 架构
- spark架构
- Spark架构
- Spark架构
- Spark架构
- Spark定制班第19课:Spark Streaming架构设计和运行机制大总结
- Spark学习笔记(19)Spark Streaming架构设计和运行机制大总结
- Spark生态和Spark架构
- Spark生态和Spark架构
- “戏”说Spark---Spark架构
- Spark总结
- spark 总结
- MySQL的安装及基本使用
- Litepal
- R语言学习博客
- gnuplot画图
- oracle11g的七个服务
- spark架构总结
- linux中的一条重要命令:find
- Linux Qt编程-在程序中启动其他应用、脚本
- 模板template和宏定义define一起的例子
- JZOJ 5050. 【GDOI2017模拟一试4.11】颜色树
- 微信群管理机器人
- java设计模式——适配器模式二
- JQuery选中select组件被选中的值
- 从linux进程机制到TopwiseProp的分析