Mac下部署单机版spark模式

来源：互联网发布：java am pm 编辑：程序博客网时间：2024/05/16 09:14

mac下配置单机版Spark相对比较简单，首先我们从Spark官网上下载Spark的源程序http://spark.apache.org/downloads.html，在页面中选择你需要的版本，本文选择的是最新版本spark-2.1.0-bin-hadoop2.7.tgz

1、下载完成后解压到某个目录下：

tar zxvf spark-2.1.0-hadoop2.7.tgz

2、配置spark环境变量

Mac环境变量一般在/etc/profile下配置，打开profile文件在文件中添加。

#SPARK VARIABLES STARTexport SPARK_HOME = /usr/local/spark-2.1.0-hadoop2.7export PATH = ${PATH}:${SPARK_HOME}/bin#SPARK VARIABLES END

3、配置JVAVA环境

同样在/etc/profile下配置。将java安装目录添加到里面

export JAVA_HOME = /Library/java/javaVirtualMachines/jdk1.8.0_111.jdk/COntents/Home

设置完成后，保存退出。然后使用source /etc/profile 使环境变量生效。

4、测试

打开终端，输入

pyspark

就会出现下面的画面。

至此，单机版的pyspark就安装完成，但是注意的是我们现在配置的是单机版，并没有涉及spark集群的配置，所有没有对spark进行相应的配置，比如设置slaves等。

0 0