【编程语言】Spark 下载及安装教程 CentOS 7

来源：互联网发布：华北水利水电大学知乎编辑：程序博客网时间：2024/06/16 00:17

一、Spark安装准备

安装Spark之前应该先做如下准备工作：

1、将主机名与ip地址绑定

2、安装jdk

3、安装Hadoop

4、安装Scala

上述四项准备工作在之前博文中有详细的描述，在此不再赘述。点击上述四项中的某一项即可转入相应教程。

二、Spark下载

进入Apache下的Spark下载页面，找到如下图所示的界面位置，选择相应的版本进行下载

下载成功则出现如下图所示的压缩文件

三、Spark安装

1、解压spark安装文件到指定目录

# tar xfvz spark-2.0.0-bin-hadoop2.6.tgz -C /user-software/

2、配置spark环境变量
编辑profile文件

#vim /etc/profileexport SPARK_HOME=/user-software/spark-2.0.0-bin-hadoop2.6export PATH=$SPARK_HOME/bin:$PATH

3、更新并保存profile文件

#source /etc/profile

4、修改配置文件(所有文件配置完成之后需要重新启动才能生效)

复制并重命名文件spark-env.sh.template为spark-env.sh，修改此文件

HADOOP_CONF_DIR=/user-software/hadoop-2.6.4/etc/hadoopJAVA_HOME=/user-software/jdk1.8.0_101SCALA_HOME=/user-software/scala-2.10.6

SPARK_MASTER_HOST=littlebei.orgSPARK_MASTER_PORT=8040SPARK_MASTER_WEBUI_PORT=8041SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=2000mSPARK_WORKER_PORT=8030SPARK_WORKER_WEBUI_PORT=8031SPARK_WORKER_INSTANCES=1

复制并重命名文件slaves.template为slaves，修改此文件

#localhostlittlebei.org

复制并重命名文件spark-defaults.conf.template为spark-defaults.conf，修改此文件

spark.master                       spark://littlebei.org:8040

5、启动master和slaves

sbin/start-master.shsbin/start-slaves.sh

6、测试spark是否安装成功
启动成功后，访问 Web 界面 http://littlebei.org:8041/ master信息

运行自带示例：# bin/run-example SparkPi

若出现以上结果则说明安装成功

7、运行spark-shell

# bin/spark-shell

8、退出spark-shell

scala> :quit

0 0