Mac 搭建spark开发环境

来源:互联网 发布:最新网络玄幻小说 编辑:程序博客网 时间:2024/06/16 11:34

1.安装jdk
jdk下载地址这里写图片描述
然后一步一步安装jdk就可以了。
检测jdk是否安装成功:
java -version
这里写图片描述

2.安装scala
Scala下载地址
解压Scala包
配置.bash_profile 文件,没有就重建一个
这里写图片描述
export SCALA_HOME=你自己的scala的安装目录/scala-2.12.2/
export PATH=PATH:SCALA_HOME/bin

3.安装spark
spark下载目录
这里写图片描述
a.解压spark包

b.配置.bash_profile 文件
export SPARK_HOME=spark 安装目录/spark-2.1.1-bin-hadoop2.7/:
export PATH=PATH:SPARK_HOME/bin

c.打开系统设置中–>共享—> 远程登陆

d.查看用户目录是否有.ssh/,没有就重新生成
这里写图片描述

e.进入到spark安装目录的sbin/目录下,执行 ./start-all 启动spark
执行jps 命令
这里写图片描述

f.进入到spark安装目录的bin/目录下,执行 ./spark-shell,看spark 是否安装成功

这里写图片描述
如果出现这个,说明spark安装成功

原创粉丝点击