Spark2.1集群搭建

来源：互联网发布：王千源知乎编辑：程序博客网时间：2024/06/08 01:27

我写的比较简陋，是为了方便自己回忆。

下面有贴参考博客，人家写的就比较详细了。

1，有三台机器情况如下

192.168.1.120 master

192.168.1.121 node1

192.168.1.122 node2

2，下载编译好的文件spark-2.1.0-bin-hadoop2.7.tgz

下载scala，scala-2.10.4.tgz

3，环境变量配置

#java path

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

#hadoop path
export HADOOP_INSTALL=/home/bl/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_INSTALL/bin

#scala path
export SCALA_HOME=/home/bl/app/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin

#spark path
export SPARK_HOME=/home/bl/app/hadoop/spark-2.1.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

配置好系统环境变量后，记得source /etc/profile使其生效

4，spark配置文件的修改

slaves文件

[bl@node1 conf]$ cat slaves
master
node1
node2

spark-env.sh文件

[bl@node1 conf]$ cat spark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
export SCALA_HOME=/home/bl/app/scala-2.10.4
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=25g
export MASTER=spark://master:7077

6，配置完成，启动测试。

参考博客：http://blog.csdn.net/yirenboy/article/details/47298721

https://my.oschina.net/mup/blog/387619/

0 0