spark学习起步(四)--部署方式

来源:互联网 发布:js 数值比大小 编辑:程序博客网 时间:2024/06/05 06:20

spark支持以下几种部署模式:

1,单机模式

2,伪集群模式

3,独立集群

4,yarn集群

5,mesos


不同的部署方式,差异主要体现在运行资源的管理和分配以及容错处理上

单机模式:

Driver,Master,Worker,Executor都运行在 同一个JVM进程之中


伪集群部署:local-cluster

master和worker运行于同一个jvm中

master,worker,executor都运行于同一台机器,无法跨机器运行


原生集群:standalone cluster

master,worker,Executor各自运行于独立的jvm进程


driver不能运行于cluster内部,只能独立运行。


原创粉丝点击