hadoop之spark完全分布式环境搭建

配置scala

1）下载Scala安装包scala-2.11.4.tgz安装

rpm -xzvf scala-2.11.4.tgz

2）添加Scala环境变量，在~/.bashrc中添加：

export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin:$PATH

2）验证Scala是否成功：

scala -version

配置SPARK

下载二进制包spark-2.2.0-bin-hadoop2.7.tgz网址：http://spark.apache.org/downloads.html，最新为2.2.0

步骤

1. tar开文件包

   tar -xzvf spark-2.2.0-bin-hadoop2.7.tgz

2. 重命名

   `mv spark-2.2.0-bin-hadoop2.7 spark`

3. 配置环境变量vi ~/.bashrc 添加

   export SPARK_HOME=/usr/local/sparkexport PATH=$SPARK_HOME/bin:$PATH

   保存后执行source ~/.bashrc
   执行spark-shell看是否配置成功

4. 进入conf文件夹，复制spark-env.sh.template成spark-env.sh，并添加如下内容

   export JAVA_HOME=/usr/local/javaexport SCALA_HOME=/usr/local/scalaexport HADOOP_HOME=/usr/local/hadoopexport HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoopexport SPARK_MASTER_HOST=masterexport SPARK_LOCAL_IP=192.168.1.151export SPARK_WORKER_MEMORY=800mexport SPARK_WORKER_CORES=1export SPARK_HOME=/usr/local/sparkexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

5. 复制slaves.template成slaves cp slaves.template slaves，修改$SPARK_HOME/conf/slaves，添加如下内容：

   masterslave1slave2

6. 将配置好的spark文件和.bashrc文件复制到slave1和slave2节点

   scp -r /usr/local/spark slave1:/usr/localscp -r /usr/local/spark slave2:/usr/localscp -r ~/.bashrc slave1:~/scp -r ~/.bashrc slave2:~/

   最后各节点source ~/.bashrc

7. 在slave1和slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=192.168.1.151改成slave1和slave2对应节点的IP

8. 在Master节点启动集群

   sbin/start-all.sh

9. 使用jps查看集群是否启动成功

   　　master在Hadoop的基础上新增了： Master

   　　slave1和slave2在Hadoop的基础上新增了： Worker

10.电脑访问http://master:8080/出现如下页面，证明搭建成功