编译 Spark 1.x

Spark 官方文档 Building Spark，关于 Spark 的编译，做了充分的说明，尤其注意每一节内容下的 note 条目。这些补充一些细节和注意事项：

• （1）编译Spark，只需指定 hadoop 等框架的版本，无需事先安装好。

一、准备

• （1）安装 jdk（版本在jdk1.7以上）

  [root@hadoop0 ~]# echo $JAVA_HOME/usr/local/jdk1.8.0_73[root@hadoop0 ~]# java -versionjava version "1.8.0_73"Java(TM) SE Runtime Environment (build 1.8.0_73-b02)Java HotSpot(TM) Client VM (build 25.73-b02, mixed mode)

• （2）安装 scala（2.10.4）

  [root@hadoop0 ~]# echo $SCALA_HOME/usr/local/scala-2.10.4[root@hadoop0 ~]# scala -versionScala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL

• （3）安装 maven

  [root@hadoop0 ~]# echo $MAVEN_HOME/usr/local/apache-maven-3.0.5[root@hadoop0 ~]# mvn -versionApache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 08:51:28-0500)Maven home: /usr/local/apache-maven-3.0.5Java version: 1.8.0_73, vendor: Oracle CorporationJava home: /usr/local/jdk1.8.0_73/jreDefault locale: en_US, platform encoding: UTF-8OS name: "linux", version: "2.6.32-431.el6.i686", arch: "i386", family: "unix"

二、为 Maven 配置镜像

通过修改 ~/.m2/settings.xml文件的 <mirror></mirror>属性配置 Maven 的镜像，默认的镜像因为有时无法访问的问题，会极大地影响编译的时间。所以我们需要设置符合中国国情的镜像：

<mirror>    <id>nexus-osc</id>    <mirrorOf>*</mirrorOf>    <name>Nexus osc</name>    <url>http://maven.oschina.net/content/groups/public/</url></mirror>

这样编译的过程中，我们需要下载的所有文件都在http://maven.oschina.net/content/groups/public/之下了。

如果 ~/.m2/目录下无此settings.xml文件，或懒得手动修改，这里有一个修改好的settings.xml文件：settings.xml

配置（Google提供的）域名解析服务区：

vim /etc/resolv.conf

添加如下域名解析服务器（DNS）：
nameserver 8.8.8.8
nameserver 8.8.4.4