spark1.3.1安装

来源：互联网发布：知乎日报与读读日报编辑：程序博客网时间：2024/06/05 19:02

1、下载scala2.11.4版本下载地址为：

http://www.scala-lang.org/download/2.11.4.html

2、解压和安装：

将源文件放到/opt/hadoop下，复制到/usr/local下面，解压

tar -zxvf scala-2.11.4.tgz

3、编辑~/.bash_profile文件增加SCALA_HOME环境变量配置，

vim ~/.bashrc

exportSCALA_HOME=/usr/local/scala-2.11.4

source ~/.bashrc

4、验证scala：

scala -version

5、 copy到slave机器，

sudo scp -r scala-2.11.4 root@hadoop170:/usr/local

sudo scp -r scala-2.11.4 root@hadoop171:/usr/local

sudo scp -r scala-2.11.4 root@hadoop172:/usr/local

6、下载spark-1.3.1-bin-hadoop2.6.tgz

7、解压安装

将源文件放大/opt/hadoop下面，复制到/usr/local下面，解压

tar –zxvf spark-1.3.1-bin-hadoop2.6.tgz

8、配置spark 环境

vim ~/.bashrc

exportSPARK_HOME=/usr/local/spark-1.3.1-bin-hadoop2.6

source ~/.bashrc

9、更改配置文件

cd $SPARK_HOME/conf/

cp slaves.template slaves

cp spark-env.sh.template spark-env.sh

vim slaves

#添加master和slaves

hadoop169

hadoop170

hadoop171

hadoop172

vim spark-env.sh

#添加环境变量

exportJAVA_HOME=${JAVA_HOME}

export SCALA_HOME=${SCALA_HOME}

export SPARK_MASTER_IP=192.168.2.169

export SPARK_WORKER_MEMORY=2g

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR }

HADOOP_CONF_DIR是Hadoop配置文件目录，SPARK_MASTER_IP主机IP地SPARK_WORKER_MEMORY是worker使用的最大内存

10、完成配置后，将spark目录复制到slave当中

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop170:/usr/local

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop171:/usr/local

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop172:/usr/local

11、启动spark分布式集群并查看信息

cd $SPARK_HOME/sbin

./start-all.sh

12、页面查看集群状况：

进去spark集群的web管理页面，访问

http://192.168.2.169:8080

13、进入spark的shell

bin/spark-shell

访问http://192.168.2.169:4040

0 0