安装spark，基于hadoop的

来源：互联网发布：360数据恢复免费pc版编辑：程序博客网时间：2024/04/30 21:43

安装Scala

安装spark之前先安装scala，scala下载地址下载最新的版本就行，我的是scala-2.11.8.tgz
在home中创建scala文件夹 mkdir scala（根据自己的需求创建）我的文件路径 # /home/scala
把压缩包上传到创建的scala文件夹中，解压 tar -xvf scala-2.11.8.tgz
编译 vim ~/.bashrc 增加SCALA_HOME环境变量配置
export JAVA_HOME=/usr/local/java/jdk1.8.0_92
export SCALA_HOME=/home/scala/scala-2.11.8
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export SPARK_HOME=/home/spark/spark-1.6.1
export CLASSPATH=.:$SLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
（或者也需要编译/etc/profile文件，添加相应的路径，我也有点忘了，因为我当初调试的时候两个文件都添加了，如果上面添加了启动起来了，这就不用添加了）。
执行
```
source ~/.bashrc
```
生效
验证scala 执行
```
scala -version
```
出现以下信息表示成功
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL
copy到slave机器中， scp -r /home/scala 192.168.1.167:/home/
修改相应slave中的 ~/.bashrc，执行4、5、6步骤相同

安装spark

下载spark spark下载地址选择框中蓝色版本。
编译~/.bashrc 在上面有蓝色部分
也是在home中创建spark文件夹 mkdir spark
cd /home/spark
上传到spark文件夹中spark压缩包解压 tar zxvf spark-1.6.1-bin-without-hadoop.tgz
修改文件夹名称 mv spark-1.6.1-bin-without-hadoop spark-1.6.1
修改spark配置文件 cd spark-1.6.1/conf
编译spark-env.sh cp spark-env.sh.template spark-env.sh
将下面代码复制到文件最下面

###jdk安装目录export JAVA_HOME=/usr/local/java/jdk1.8.0_92###scala安装目录export SCALA_HOME=/home/scala/scala-2.11.8###spark集群的master节点的ipexport SPARK_MASTER_IP=192.168.1.168###指定的worker节点能够最大分配给Excutors的内存大小export SPARK_WORKER_MEMORY=2g###hadoop集群的配置文件目录export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.2/etc/hadoopexport SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop-2.7.2/bin/hadoop classpath)

保存退出。
修改conf下的slaves cp slaves.template slaves
```
vim slaves
```
删除localhost
添加mater和slave主机
192.168.1.168
192.168.1.167
保存退出
到sbin文件夹 cd /home/spark/spark-1.6.1/sbin
启动spark
```
# start-all.sh
```
如果你没做全局启动一定到sbin下输入启动命令，我就是因为在别的文件下输入命令，就是没有启动起来，耗费了老长时间各种调试，都快哭了~~~
输入jps 有master和worker则表示spark启动起来了
输入192.168.1.168:8080在浏览器页面执行效果
到此安装完毕

也可以bin中执行一些验证spark小实验

./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

0 0