spark standalone 安装（手动启动）

spark 采用mapred编程模型，充分利用内存的计算框架。不但可以与YARN框架完美结合，而且可以独立的运行。本文主要讲解spark standalone模式的安装方式。

本系统搭建环境是centos5.5，两台虚拟机分别充当master与slave节点

一、手动启动

1、下载spark 1.01版本

2、启动master节点

       解压spark 文件，进入sbin目录，输入如下命令：

./sbin/start-master.sh

  启动后，进入spark_home（解压目录）目录下logs下，打开日志文件，可以观察节点启动的日期信息

     启动成功后，可通过http://masterIP:8080 网址来查看集群运行的运行状态。masterIP为master节点所在虚拟机的ip，若无法访问，可关闭防火墙重新尝试。

3.启动slave节点

   在slave节点，进入spark文件解压后的bin目录下，输入如下命令

./spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

  IP为master节点的ip或者主机名，PORT为7077.master的服务监听节点固定为7077

二、自动自动slave节点

     对于较大的集群，逐一通过上述命令启动slave节点未免太过麻烦。在spark_home下，conf/slaves文件可用于配置的slave节点的主机名。每个主机名一行。下图中这配置本机与slave1节点。

     配置好后，通过如下命令启动spark集群sbin/start-all.sh

sbin/start-all.sh

启动后，可通过web界面查看启动的节点信息

三、总结

通过spark的部署，比hadoop的部署更加简单，少了很多配置文件的修改。