spark2.0-scala2.11.8-hadoop2.8.0配置

一、安装配置scale

1.下载scala 2.11.8

http://www.scala-lang.org/files/archive/scala-2.11.8.tgz

tar -zxf scala-2.11.8.tgz –C ./app

2.配置环境变量

vim /etc/profile（root用户）

# 在文件末尾位置加入以下代码

export SCALA_HOME=/usr/lib/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

3.生效环境变量

source /etc/profile（hadoop用户）

4.测试环境变量配置是否成功

scala命令进入scala命令行，ctrl + c强制退出

二、安装配置spark

1.下载spark2.0

方法一：https://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz

 

方法二：https://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-without-hadoop.tgz

还需要下载方法一的压缩包，

将方法一jars文件夹下的包除了图中所示的这几个包，全部拷贝到without hadoop的jars中，然后图中那些包除了hadoop-clent这个包其他包都能够在hadoop2.8.0中找到2.8.0的版本jar包，将这些jar包拷贝到without hadoop的jars中，然后去maven官网（http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client）下载hadoop-clent-2.8.0.jar这个包，下载完成后拷贝到withouthadoop的jars中。

2.配置环境变量

vim /etc/profile

# 在文件末尾位置加入以下代码

exportSPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7

3.修改spark-2.0.0-bin-hadoop2.7/conf/spark-env.sh文件（从节点主节点都需要修改）

如果没有则进行复制cp spark-env.sh.template spark-env.sh

#端口号

SPARK_MASTER_WEBUI_PORT=8085

 

exportSCALA_HOME=/home/node1/app/scala-2.11.8

 

exportJAVA_HOME=/home/node1/app/jdk1.8.0_131

 

export SPARK_MASTER_IP=192.168.0.194

 

export SPARK_WORKER_MEMORY=1024m

 

export master=spark://192.168.0.194:7070

4.主节点还需配置

vi /etc/hosts

内容：

192.168.0.192 slave1

192.168.0.193 slave2

192.168.0.194 master

三、启动

1.计算Pi

 ./bin/run-example SparkPi

四、启动spark集群

sbin/start-all.sh

jps显示