spark2.2编译

spark2.2编译打包

   1、从github上下载spark2.2 源码

         git clone https://github.com/apache/spark.git

    2、切换到2.2分支

         git checkout branch-2.2

    3、cd   /data12/wangyu/opensource/spark

 

    4、指定maven 和 setting.xml文件

         ./build/apache-maven-3.3.9/bin/mvn -DskipTests clean package --settings /data12/wangyu/opensource/spark/build/apache-maven-3.3.9/conf/settings.xml

     查看原因：由于spark2.2需要制定jdk1.8进行编译，而系统环境是jdk1.7

      

    设置jdk1.8环境变量 export JAVA_HOME=/data12/wangyu/jdk/jdk1.8/jdk1.8.0_131/

   5、编译成功之后，进行打包

   ./dev/make-distribution.sh --name hadoop2.7 --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn --settings /data12/wangyu/opensource/spark/build/apache-maven-3.3.9/conf/settings.xml