spark Master URLs的意思

来源：互联网发布：小米手机网络电商营销编辑：程序博客网时间：2024/04/27 18:40

创建SparkContext的时候，new SparkContext(master, appName, [sparkHome], [jars])，

第一个参数是master，具体含义如下：

Master URLs

传递给Spark的master URL可以是以下任一种形式：

Master URL 含义
local 使用一个Worker线程本地化运行SPARK(完全不并行)
local[K] 使用K个Worker线程本地化运行Spark（理想情况下，K应该根据运行机器的CPU核数设定）
spark://HOST:PORT 连接到指定的Spark单机版集群(Spark standalone cluster)master。必须使用master所配置的接口，默认接口是7077.
mesos://HOST:PORT 连接到指定的Mesos集群。host参数是Moses master的hostname。必须使用master所配置的接口，默认接口是5050.
如果没有指定的msater URL, spark shell 的默认值是“local”。

如果在YARN上运行，Spark会在YARN上，启动一个standalone部署的集群实例，查看 running on YARN获得更多详情。

0 0