Spark源码编译

来源:互联网 发布:杭州市行知小学地址 编辑:程序博客网 时间:2024/05/16 10:31

为什么需要编译?

        因为不同版本的HDFS在协议上是不兼容的,所以如果你想用你的Spark从HDFS上读取数据,那么你就的选择相应版本的HDFS来编译Spark,这个可以在编译的时候通过设置hadoop.version来选择,默认情况下,Spark默认为编译成Hadoop 1.0.4版本。现在可以使用的方法有Maven编译,sbt编译(时间较长),Spark自带脚本编译(实际还是调用Maven)。

        当然也可以去官网直接下载编译好的Spark,不过需要官方提供版本支持,我的hadoop版本为2.2,所以必须要自己编译。

 


采用spark自带脚本编译

        因为该脚本其实是调用了Maven进行编译的,所以必须先安装Maven。

1. 安装Maven

从官网下载Maven包,解压到/usr/local/maven:

tar -zxf apache-maven-3.2.3-bin.tar.gz

sudo mv apache-maven-3.2.3 /usr/local/maven

配置安装目录:

sudo gedit /etc/profile  

在末尾加上:

MAVEN_HOME=/usr/local/mvn

export MAVEN_HOME

export PATH=${PATH}:${MAVEN_HOME}/bin

 

验证:

mvn –v

 

2. 编译spark

        在下载下来的Spark源码中的同一级目录下有个make-distribution.sh脚本,这个脚本可以打包Spark的发行包,可以通过下面的命令运行(编译成hadoop2.2版本,并打包):

./make-distribution.sh --tgz -Phadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.2.0

 

编译完成:

 

可以在spark目录下找到该包:


0 0
原创粉丝点击