CentOS7 基于Hadoop2.7 的Spark2.0集群搭建

目录(?)[+]

序言

1. Hadoop 2.7 集群已搭建完毕. 参考“CentOS7 从零开始搭建 Hadoop2.7集群‘’。（node 192.168.169.131, node1 192.168.169.133, node2 192.168.169.132, node3 192.168.169.134）
2. 本地下载 scala-2.11.8.tgz：
3. 本地下载 spark-2.0.0-bin-hadoop2.7.tgz

上传文件到各服务器。

1. 上传文件

   pscp.exe -pw 12345678 scala-2.11.8.tgz root@192.168.169.131:/usr/local pscp.exe -pw 12345678 spark-2.0.0-bin-hadoop2.7.tgz root@192.168.169.131:/usr/local 
   1
   2
   3
   1
   2
   3

安装配置Scala

1. 设置临时变量

   scalaFolder='/usr/lib/scala-2.11.8'
   1
   2
   1
   2

2. 解压文件夹

   tar -zxvf /usr/local/scala-2.11.8.tgzmv  /usr/lib/scala-2.11.8 ${scalaFolder}
   1
   2
   1
   2

3. 设置环境变量

   echo export SCALA_HOME=${scalaFolder} >> /etc/profileecho export 'PATH=$PATH:$SCALA_HOME/bin' >> /etc/profile
   1
   2
   1
   2

安装配置Spark

1. 设置临时变量

   sparkFolder='/home/hadoop/spark2.0'
   1
   1

2. 解压文件并修改文件属性

   tar -zxvf /usr/local/spark-2.0.0-bin-hadoop2.7.tgzmv /usr/local/spark-2.0.0-bin-hadoop2.7  ${sparkFolder}chown -R hadoop:hadoop ${sparkFolder}chmod -R g=rwx ${sparkFolder}
   1
   2
   3
   4
   1
   2
   3
   4

3. 设置环境变量

   echo  export SPARK_HOME=${sparkFolder} >> /etc/profilesource /etc/profile
   1
   2
   1
   2

配置集群

1. 创建文件 /home/Hadoop/spark2.0/conf/slaves

   node1node2node3
   1
   2
   3
   1
   2
   3

2. 创建文件/home/hadoop/spark2.0/conf/Spark-env.sh

   #!/usr/bin/env bashexport SCALA_HOME=/usr/lib/scala-2.11.8export JAVA_HOME=/usr/local/jdk1.8
   1
   2
   3
   4
   1
   2
   3
   4

启动集群

1. 启动hadoop 集群

   $HADOOP_HOME/sbin/start-all.sh
   1
   1

2. 启动spark集群

   $SPARK_HOME/sbin/start-all.sh
   1
   1

3. 验证集群状态

   • 192.168.169.131:8080 #spark

     

   • 192.168.169.131:50070 #hdfs 
     

测试Spark集群

1. 运行测试例子

   MASTER=spark://node:7077 ./bin/run-example SparkPi
   1
   1

   
   
   
   本文转自小杭嘟嘟嘟