spark-1.2.0 集群环境搭建(完整一套)

spark-1.2.0 集群环境搭建(sprak集群依赖hadoop至上，用的是分布式APACHE系统HDFS)
（此处搭建承接文档hadoop搭建，服务地址一样需要修改配置,下面附链接）




一、安装jdk(1.7)------查看hadoop环境配置文件里面的jdk配置(一样)


二、ssh免验证---------查看hadoop环境配置文件里面的ssh免验证(一样)


三、安装hadoop(这次安装2.6的)--------查看hadoop环境配置文件里面的hadoop安装()
以上三个安装链接 : http://blog.csdn.net/u011192458/article/details/76749308

四、scala2.11.4搭建
1、下载scala2.11.4版本、


2、解压安装scala2.11.4


命令:tar -xvf scala-2.11.4.tgz 


3、编辑 vi ~/.bashrc 文件 增加SCALA_HOME环境变量配置，


export JAVA_HOME=/home/chao/jdk1.7.0_79
export HADOOP_HOME=/home/chao/hadoop-2.6.0
export HIVE_HOME=/home/chao/hive-1.2.1
export CLASSPATH=${JAVA_HOME}/lib
export SCALA_HOME=/home/chao/scala-2.11.4
export PATH=.:$HADOOP_HOME/bin:$HIVE_HOME/bin:${JAVA_HOME}/bin:$SCALA_HOME/bin:$PATH




立即生效  ~/.bashrc
source  ~/.bashrc


4、验证scala
scala -version


Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL


5、登陆scala
命令:scala


scala> 


验证测试var str = "SB is" + "SB"


scala> var str = "SB is" + "SB"
str: String = SB isSB


验证完成--scala安装成功。


6、copy到其它节点机器(spark02)


scp -r scala-2.11.4/ chao@salve1:/home/chao/
scp -r scala-2.11.4/ chao@salve2:/home/chao/
验证其它节点--方法同上


7、下载spark


1、解压spark-1.2.0-bin-hadoop2.4
命令:tar zxvf spark-1.2.0-bin-hadoop2.4


mv spark-1.2.0-bin-hadoop2.4 /home/chao/spark-1.2.0


2、配置spark环境变量
vi ~/.bashrc


增加SPARK_HOME


export SPARK_HOME=/home/chao/spark-1.2.0
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH


配置完成后使用source命令使配置生效 source ~/.bashrc


3、进入spark-1.2.0/conf目录  ls
fairscheduler.xml.template   slaves.template
log4j.properties.template    spark-defaults.conf.template
metrics.properties.template  spark-env.sh.template


4、修改slaves文件，增加两个slave节点spark01,spark02(所有的节点机器)
(如果没有slaves文件可以根据模板拷贝一个)
sudo gedit slaves
增加节点
spark01
spark02


5、修改spark-env.sh文件在最下面增加:
vi spark-env.sh


export JAVA_HOME=/home/chao/jdk1.7.0_79
export SCALA_HOME=/home/chao/scala-2.11.4
export SPARK_MASTER_IP=192.168.0.10
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/home/chao/hadoop-2.6.0




//SPARK_MASTER_IP是主节点的IP地址
//SPRAK_WORKER_MOMORY使用的时候最大内存


6、完成配置之后将spark目录copy到其它节点(完成copy一定要检查环境变量的配置)
命令:spark-1.2.0 chao@slave1:/home/chao
命令:spark-1.2.0 chao@slave2:/home/chao




7、进入spark-1.2.0/sbin启动spark(启动spark一定要先启动hdfs)
命令:./start-all.sh
查看:jps


3353 Master
2968 NodeManager
2867 ResourceManager
2727 SecondaryNameNode
2574 DataNode
3498 Worker
2449 NameNode
3908 Jps






启动spark-shell界面
进入bin目录下
./spark-shell


spark集群环境搭建成功了


3353 Master
3641 SparkSubmit
2968 NodeManager
2867 ResourceManager
2727 SecondaryNameNode
3818 Jps
2574 DataNode
3498 Worker
2449 NameNode