spark-07-spark 运行模式

来源:互联网 发布:上班族做饭知乎 编辑:程序博客网 时间:2024/04/29 12:35
     Spark的运行模式多种多样,在单机上既可以以本地模式运行,也可以以伪分布式模式运行。

     而当以分布式的方式运行在Cluster集群中时,底层的资源调度可以使用Mesos 或者是Hadoop Yarn ,也可以使用Spark自带的Standalone Deploy模式。

     下面是spark的运行模式列表:
     
       Local[N] :本地模式 使用N个线程,理想情况下,N应该根据运行机器的CPU核数设定

       Local-cluster :伪分布式模式

       Spark:// Standalone Deploy模式,需要部署Spark到相关节点

       Mesos:// Mesos模式,需要部署SparkMesos到相关节点

       Yarn-standalone SparkContext和任务都运行在Yarn集群中

       Yarn-client SparkConext运行在本地,task运行在Yarn集群中

0 0
原创粉丝点击