Spark运行架构-简要版
来源:互联网 发布:有淘宝账号怎么开网店 编辑:程序博客网 时间:2024/06/03 21:24
1、构建Spark Application运行环境:
在Driver Program中新建SparkContext(包含SparkContext的挰序称为Driver Program);
在Driver Program中新建SparkContext(包含SparkContext的挰序称为Driver Program);
Spark Application运行的表现方式为:在集群上运行着一组独立的executor进程,这些进程由SparkContext来协调。
集群通过SparkContext连接到不同的cluster manager(standalone、yarn、mesos),cluster manager为运行应用的Executor分配资源;一旦连接建立之后,Spark每个Application就会获得各个节点上的Executor(进程);每个Application都有自己独立的Executor进程;Executor才是真正运行在WordNode上的工作进程,它们为应用来计算或者存储数据。
3、SparkContext获取到Executor之后,Application的应用代码将会被发送到各个Executor。
4、SparkContext构建RDD DAG图,将RDD DAG图分解成Stage DAG图,DAGScheduler将Stage提交给TaskScheduler,最后由TaskScheduler将Task发送给Executor执行。
阅读全文
0 0
- Spark运行架构-简要版
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- Spark运行架构
- 2.1-Spark运行架构
- Spark 之 运行架构
- Spark的运行架构
- jquery from转json
- 【UVa10601】Cubes-Burnside引理应用
- linux命令之文件命令集
- 二值图像的骨架提取
- java中集合和泛型(基础)
- Spark运行架构-简要版
- 数组方法reduce
- 无名管道pipe的使用
- Python 让PIP源使用国内镜像,提升下载速度和安装成功率
- Connected Cells in a Grid(dfs)
- 做一名合格的项目经理
- POJ3009 Curling 2.0【DFS】
- CentOS 7下安装UCSF Chimera
- Codeforces 235C : Cyclical Quest