spark core源码分析1 集群启动及任务提交过程

来源:互联网 发布:在家便知天下事ppt 编辑:程序博客网 时间:2024/05/23 15:01

spark版本号:1.4.1

spark源码分析目的是在解读源码的过程中记录一些重要的步骤,加深自己的印象,或许也可以给别人提供一些帮助。


Standalone集群启动及任务提交过程详解



正常启动及job提交过程如下:

1. 启动master

2. 启动worker

3. 客户端提交application到master

4. master发送LaunchExecutor指令给相应worker

5. worker启动Executor进程

6. Executor将自己注册到driver中

7. 将spark job分解成多个task发散到各个Executor上运行


之后会将各个部分详细剖析。。。

转载:http://blog.csdn.net/yueqian_zhu/article/details/47903575

0 0
原创粉丝点击