Spark安装（Ubuntu环境下）

首先确保以安装hadoop

准备工作

1. scala：http://www.scala-lang.org/download/
   也可以通过：http://download.csdn.net/download/qq_36743482/10035822
2. spark：http://spark.apache.org/downloads.html
   一定要注意选择相应的版本
   

第一步：安装Scala

打开终端，创建目录scala

sudo mkdir /usr/local/scala

将压缩文件解压到该目录

sudo tar -zxvf scala-2.12.3.tgz -C /usr/local/scala

打开/etc/profile，或者 ~/.bashrc 配置环境变量

sudo vim /etc/profile

或者

sudo vim ~/.bashrc

在最后添加配置内容

export SCALA_HOME=/usr/local/scala/scala-2.12.3export PATH=${SCALA_HOME}/bin:$PATH

注：/etc/profile 用于所有用户变量； ~/.bashrc 用于当前用户
注：如果采用笔者这种吧所有PATH变量放在一起，并通过”:”隔开，一定要确保path变量在所有的HOME变量后面。

使变量生效

source /etc/profile 

或者

source ~/.bashrc

执行scala，如出现该界面说明安装成功

输入以下命令退出scala

:quit

第二步：安装spark

• 打开终端，创建目录scala

sudo mkdir /usr/local/spark

• 将压缩文件解压到该目录

sudo tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /usr/local/scala

• 打开/etc/profile，或者 ~/.bashrc 配置环境变量

sudo vim /etc/profile

或者

sudo vim ~/.bashrc

• 在最后添加配置内容

export SPARK_HOME=/usr/local/spark/spark-2.2.0-bin-hadoop2.7export PATH=${SPARK_HOME}/bin:$PATH

• 使配置生效

source /etc/profile

or

source ~/.bashrc

• 之后，执行

pyspark

• 通过Ctrl+D 或者 exit() 进行退出。

如果是全分布式的集群，需要每一台虚拟机都要装上scala和spark
可通过scp进行复制：
命令格式如下：

scp -r -f /home/administrator/test/ root@192.168.1.100:/root/ 

至此已经安装成功了！