Spark安装要点

一、  基础环境搭建

1.      在vmware虚拟机安装centos系统

2.      Centos系统的网络使用桥接模式，并设置静态ip地址

3.      设置host映射文件，关闭防火墙和SElinux

4.      更新centos系统自带的openssl

5.      修改SSH配置文件

6.      增加Hadoop·组和Hadoop用户

7.      安装并配置JDK

8.      安装并配置Scala

9.      配置SSH无密码登陆

 

二、  Hadoop编译安装

1.        安装并设置maven

2.        安装并设置protobuf

3.        下载并编译Hadoop源码

4.        解压编译好的安装包

5.        配置hadoop环境变量

6.        格式化NameNode，启动HDFS、YARN

 

三、  Spark编译安装

1.        使用maven编译Spark源码

2.        生成spark部署包

3.        解压spark安装包

4.        配置spark环境变量

5.        完成安装，启动spark，spark-shell