Ubuntu下Spark环境的搭建

1.安装jdk

登陆官网下载对应的jdk包

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 

本人用的是64位的ubuntu，因此我下载了X64的，扩展名为.tar.gz的安装包

接下来用该指令将安装包解压至指定目录：sudo tar zxvf jdk-8u144-linux-x64.tar.gz -C/usr/lib/

 

~~~设置环境变量
1.设置系统启动加载索引:sudo gedit /etc/environment,在PATH信息的最前面加上JDK安装信息,输入如下信息:
PATH="/usr/lib/jdk1.8.0_144/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

然后在后面追加下面三个信息
export JAVA_HOME=/usr/lib/jdk1.8.0_144

export JRE_HOME=/usr/lib/jdk1.8.0_144/jre

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

2.设置系统的环境变量:sudo gedit /etc/profile,输入环境变量的设置信息如下:
#Set Java Environment
JAVA_HOME=/usr/lib/jdk1.8.0_144
export JRE_HOME=/usr/lib/jdk1.8.0_144/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

3.将刚才安装的JDK设置为系统默认的JDK,即设置默认的javac和java命令.

 

下面代码实现向系统命令中加入JDK中的javac和java命令:
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jdk1.8.0_144/bin/javac 300
sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk1.8.0_144/bin/java 300
下面代码实现将自己的JDK设置为系统默认的JDK:
sudo update-alternatives --config java
sudo update-alternatives --config javac

4.最后重启计算机,运行:sudo java -version命令检测JDK的安装.

 

2.安装Scala

1.官网网址：http://www.scala-lang.org/download/

下载binary版本的scala

 

2.解压缩：sudo tar -zxvf scala-2.12.3.tgz -C/usr/lib

 

3.在文件/etc/profile底部添加环境变量

#set scala

export SCALA_HOME=/usr/lib/scala-2.12.3

export PATH=$PATH:$SCALA_HOME/bin

 

4.退出文件执行命令source /etc/profile，更新文件

 

5.执行scala命令，若进入scala编程环境则表示安装成功。

 

 

3.安装Spark

1.下载Spark：http://spark.apache.org/downloads.html

 

2.解压文件到指定位置

sudo tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C/usr/

 

3.在文件/etc/profile底部添加环境变量

#set spark

SPARK_HOME=/usr/spark-2.2.0-bin-hadoop2.7

PATH=$PATH:${SPARK_HOME}/bin

 

4.退出文件执行命令source /etc/profile，更新文件

 

4.5.在终端运行命令spark-shell等待一下，出现如下，安装完成