Spark2.1集群环境搭建小结（1）

来源：互联网发布：node全栈工程师招聘编辑：程序博客网时间：2024/05/18 06:52

操作系统Ubuntu 用户root

1 打开Terminal，使用 java -version

检查是否安装，若未安装，使用

sudo apt-get install default-jre 安装OpenJDK;

或使用

sudo apt-getinstall oracle-java8-installer

sudo apt-getinstall oracle-java8-set-default

安装java 8;

2 设置环境变量

(1)在/etc/profile中设置JAVA环境变量；

export JAVA_HOME="jdk的安装路径"

exportJRE_HOME=$JAVA_HOME/jre

exportJAVA_BIN=$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用source /etc/profile命令生效；

(2)在/etc/environment 中设置JAVA环境变量；

JAVA_HOME="jdk的安装路径"

JRE_HOME=$JAVA_HOME/jre

JAVA_BIN=$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

输入以下命令验证java -version

3 下载spark-2.1.0-bin-hadoop2,使用chmod 755改变./bin和./sbin中的文件属性；

在./conf/spark-env.sh增加

export SPARK_MASTER_IP="master IP"
export JAVA_HOME="jdk的安装路径"，同/etc/profile的JAVA_HOME;

./bin/spark-shell运行单机类型的SPARK环境，若成功，则会出现：

Welcome to
      ____              __
     / __/__ ___ _____/ /__
    _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.0

1 0