mac 单机版 spark 安装

本文介绍安装单机版的spark，安装单机版的spark 分一下步骤

• 安装scala
• 下载spark 压缩包并解压
• 修改spark的配置文件
• 配置环境变量
• 验证安装情况
  

  ---

安装Scala

mac安装scala教程

---

下载spark压缩包并解压

到官网下载spark的安装包（我用的是spark-2.0.1-bin-hadoop2.7.tgz）

http://mirror.bit.edu.cn/apache/spark/

进入安装包存放目录，解压安装包

tar -zxvf  spark-2.0.1-bin-hadoop2.7.tgz

解压后进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

操作如下图

---

修改spark的配置文件

修改 spark-env.sh 文件添加信息

vi spark-env.sh//添加如下信息export SCALA_HOME=/Users/yangyibo/Software/scalaexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Homeexport SPARK_MASTER_IP=192.168.100.176export SPARK_WORKER_MEMORY=512m export master=spark://192.168.100.176:7070

如下图

---

修改 slaves.template 添加信息

vi slaves.template//添加如下信息master

如下图

---

配置环境变量

Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。

/etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个）

.bash_profile 文件的路径是在当前用户下。

操作如下：

新打开终端输入命令

vi .bash_profile//添加如下信息#SPARK VARIABLES STARTexport SPARK_HOME=/Users/yangyibo/Software/spark-2.0.1-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin

如下图，mac 注意路径哦，

---

验证安装情况

此时就可以检验成果喽

进入安装包的sbin 目录执行 start-all.sh 脚本

./start-all.sh

此时可能会出现这个情况，我们可以直接忽略

此时我们可以通过jps 命令 检验运行情况

打开Spark Master 页面查看集群情况，我相信你会直接点击。

http://localhost:8080/

如图

---

停止spark
进入spark的sbin目录，执行命令

$ ./stop-all.sh

---

接下来就是spark 的小程序了
Spark进阶体验