最新版spark-2.2.0安装教程

1.jdk的安装；（java1.8）
2.hadoop安装；(hadoop2.7.2)
3.scala安装；(scala2.11.8)
4.spark安装。(spark2.2.0)

0.环境：mac OS X 10.12
1.jdk的安装：安装java JDK1.7及以上的版本，配置好环境变量。
查看是否安装成功命令：
$: java -version

2.hadoop安装：
$: brew install hadoop
默认安装到 /usr/local/Cellar/hadoop下。 说明homebrew是mac OS 上的包管理软件。安装hadoop还需要配置ssh等，这里不重复了。

3.scala安装：安装scala 2.9.3以上版本。
(1)下载安装：

$:brew install scala

默认安装到 /usr/local/Cellar/
安装成功提示：

To use with IntelliJ, set the Scala home to:
/usr/local/opt/scala/idea

Bash completion has been installed to:
/usr/local/etc/bash_completion.d ==> Summary
/usr/local/Cellar/scala/2.11.8: 51 files, 30.9M, built in 1 minute 18 seconds

（2）配置HOME:

$:sudo nano ./etc/profile

然后输入：

---

export SCALA_HOME=/usr/local/Cellar/scala/2.11.8export PATH=$PATH:$SCALA_HOME/bin

---

接着按control+x 推出，按Y保存，enter。（3）返回根目录~并输入：

~$：scala

显示如下界面即安装成功：

Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java
1.8.0_91). Type in expressions for evaluation. Or try :help

4.spark安装：
(1)进入spark官网下载spark安装包：http://spark.apache.org/downloads.html
(2)安装命令：

$:sudo tar -zxf ~/Downloads/spark-2.2.0-bin-hadoop2.7.tgz /usr/local/Cellar

(3)配置环境变量：

 $:cd /usr/local/Cellar #修改包名，方便后续配置 $:mv ./spark-2.2.0-bin-hadoop2.7.tgz ./spark-2.2.0   

$:sudo nano /etc/profile
#在文件中添加：

---

export SPARK_HOME=/usr/local/Cellar/spark-2.2.0export PATH=$PATH:$SPARK_HOME/bin

---

然后进入spark的conf文件中修改配置：

 $:cd spark-2.2.0/conf  $:cp spark-env.sh.template spark-env.sh #复制文件  $:sudo nano spark-env.sh

#在文件中添加：

export SCALA_HOME=/usr/local/Cellar/scala-2.11.8export SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=4g

至此，已完成spark的安装和配置，验证way1：

 $:cd /usr/local/Cellar/spark-2.2.0/bin $: ./spark-shell

way2根目录下输入：

  $:spark-shell

窗口即可弹出spark标志。

*采坑：
1.安装spark采用命令行：
$:brew install spark
自动安装的spark1.0.1，尝试了想用命令行升级，没有成功，于是进官网下载最新的版本。

2.安装scala的时候，用命令brew install scala安装的，目录为：
/usr/local/Cellar/scala/2.11.8
后面在配置环境变量的时候，忘了输入2.11.8，结果一直报错，找了半天的错误才发现。

3.经验：环境变量分系统环境变量和局部环境变量，例如scala下面的scala/bin下面有个/etc/profile这是scala的局部环境变量，进入方法：cd scala/bin cd ./etc/profile
进入系统环境变量： cd /etc/profile

说明：本文的重点是安装spark，所以前面的步骤都只是一个顺序，并不是详细的安装配置过程。