spark环境搭建

节点

角色

node102

master+worker

node103

worker

node104

worker

 在此之前已经安装好了hadoop环境

 

首先下载安装包spark-1.6.0-bin-hadoop2.6

解压到/opt/spark-1.6.0下

配置spark

cd $SPARK_HOME/conf

1. vi slaves

#将Worker主机名加入

node012

node103

node104

 

2.修改spark-env.sh

cp spark-env.sh.template spark-env.sh

#spark-env.sh 为Spark进程启动时需要加载的配置

#改模板配置中有选项的具体说明

exportJAVA_HOME=/opt/jdk1.7.0_80

exportSPARK_MASTER_IP=node102  #主节点ip

export HADOOP_CONF_DIR=/opt/hadoopxxx/etc/hadoop

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$(/opt/hadoopxxx/bin/hadoop  classpath)

 

3. 配置spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

vi spark-defaults.conf

文本基本内容修改如下：

spark.master                     spark://node102:7077

#spark.eventLog.enabled           true

 # spark.eventLog.dir              hdfs:///data/directory   #要保证这个路径存在

 spark.serializer                org.apache.spark.serializer.KryoSerializer

 

4.启动spark进程

$SPARK_HOME/sbin/start-all.sh

启动Spark历史任务记录:

[spark@master conf]$ $SPARK_HOME/sbin/start-history-server.sh

 

5.Spark-shell测试Spark集群:

leofs上传test文件

 [spark@master conf]$ $SPARK_HOME/bin/spark-shell --master spark://node102:7077

运行无报错，执行：

val v1=sc.textFile("leofs:///test")

v1.first

v1.collect

能正确显示结果，则表示安装配置成功。