Spark1.5 基于hadoop 2.5.0编译

来源：互联网发布：淘宝返利官网编辑：程序博客网时间：2024/06/06 14:21

安装jdk

安装scala

第一步. 修改 spark-1.5.0目录下的pom.xml文件，匹配自己的软件版本，我的修改如下：

vi pom.xml -- 修改如下相关软件的版本

<java.version>1.7</java.version>

<hadoop.version>2.5.0-cdh5.3.9</hadoop.version>

<maven.version>3.3.9</maven.version>

<scala.version>2.10.4</scala.version> <scala.binary.version>2.10</scala.binary.version>

第二步. 尝试用maven编译Spark

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

build/mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0-cdh5.3.9 -Dyarn.version=2.5.0-cdh5.3.9 -DskipTests clean package

第三步：

./make-distribution.sh --name cdh5.3.9 --tgz -Pyarn -Dhadoop.version=2.5.0-cdh5.3.9 -Phive -Phive-thriftserver

0 0