Spark-2.1.1集群的安装和配置（基于Hadoop-2.7.3）

准备

• 1.安装配置好的Hadoop-2.7.3分布式集群
  namenode：
  mini1：192.168.213.133
  datanode：
  mini2：192.168.213.134
  mini3：192.168.213.135
• 2.安装配置JDK
• 3.配置SSH免密码登陆
• 4.spark-2.1.1-bin-hadoop2.7.tgz安装包

安装

• 1.解压spark-2.1.1-bin-hadoop2.7.tgz安装包实现安装

# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/spark

• 2.重命名

# cd /usr/local/spark# mv spark-2.1.1-bin-hadoop2.7 spark-2.1.1

配置

• 1.修改spark-env.sh.template文件

# cp spark-env.sh.template spark-env.sh# vim spark-env.sh添加如下记录：// JDK安装目录export JAVA_HOME=/usr/local/jvm/jdk1.8.0_144// Spark集群中Master的地址export SPARK_MASTER_HOST=mini1// Spark集群中Master和Worker进行RPC通信的端口号export SPARK_MASTER_PORT=7077保存退出

• 2.修改slaves.template文件

# cp slaves.template slaves# vim slaves添加如下记录：mini2mini3保存退出

启动和停止

• 1.启动

# /usr/local/spark/spark-2.1.1/sbin/start-all.sh

mini1：

[root@mini1 ~]# jps2642 Master   // Spark的Master进程3715 Jps2276 NameNode2463 SecondaryNameNode

mini2：

[root@mini2 ~]# jps2945 Jps2189 DataNode2335 Worker   // Spark的Worker进程

mini3：

[root@mini3 ~]# jps2181 DataNode2326 Worker   // Spark的Worker进程2936 Jps

• 2.停止

/usr/local/spark/spark-2.1.1/sbin/stop-all.sh

测试

• 1.验证安装是否成功

mini1:8080

• 2.测试案例
  注：Spark中存在大量的测试案例，比如SparkPi（蒙特·卡罗求Pi）

# /usr/local/spark/spark-2.1.1/bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://mini1:7077 \/usr/local/spark/spark-2.1.1/examples/jars/spark-examples_2.11-2.1.1.jar \100

• 3.测试结果

注：图中的3.141401914140191为求出来的Pi值，准确度取决于传入参数的大小，测试的时候我们传入的参数为100.

Over