CentOS7 从零搭建Spark 2.0 单机环境

序言

预先以Minimal方式在VMVare虚拟机内安装 CentOS7。

配置网络环境

1. 获得网络配置信息。VMWare: 编辑->虚拟网络编辑器->VMnet信息->NAT 设置。 记下 子网IP, 子网掩码，网管IP信息。
   
2. 编辑CentOS网络配置文件。
   
vm /etc/sysconfig/network-scripts/ifcfg-eno16777736

   
3. 移除rule 文件
   shell
rm /etc/udev/rules.d/70-persistent-net.rules

4. 修改主机名
   
hostname hangzhi
vi /etc/hostname #替换localhost.localdomian 为hangzhi
vi /etc/hosts #替换localhost.localdomian 为hangzhi

5. 重启虚拟机
   
reboot


更新/安装基础软件

1. 更新yum.

   yum upgrade

2. Install tools

   yum install weget

安装Spark 2.0

1. 安装配置OpenSDK

   • 安装Java

     sudo yum install java-1.8.0-openjdk-devel.x86_64

   • 配置环境变量

   vim /etc/profile#在文件末尾位置加入以下代码export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64 #路径可能因jdk版本不同而有所差异export JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/bin#注意冒号export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   • 载入环境变量配置

   source /etc/profile

2. 安装配置scala

   • 下载并解压scala 2.11.8

     http://www.scala-lang.org/files/archive/scala-2.11.8.tgztar -zxf scala-2.11.8.tgzmv scala-2.11.8 /usr/lib

   • 配置环境变量

   vim /etc/profile# 在文件末尾位置加入以下代码export SCALA_HOME=/usr/lib/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin

   • 载入环境变量配置

   source /etc/profile

3. 下载并配置 spark 2.0

   • 下载Spark 2.0

   cd ~wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgztar -zxf spark-2.0.0-bin-hadoop2.7.tgz

   • 配置环境变量

       vim /etc/profile    # 在文件末尾位置加入以下代码    export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7

   单机模式下运行

    cd $SPARK_HOME ./bin/run-example SparkPi

引用：
http://www.scala-lang.org/
http://spark.apache.org/
http://www.tuicool.com/articles/Vza63m
http://shiyanjun.cn/archives/696.html