window下编译spark2.1.0

来源：互联网发布：ip138离线数据库编辑：程序博客网时间：2024/06/07 06:07

window下编译spark2.1.0

机器环境：
WIN10
JDK 1.8
git version 2.7.2.windows.1

一、官网下载源码
这里写图片描述

二、下载git，运行git bash，切到源码目录
spark编译要在 bash环境下进行，不然报错

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:run (default) on project spark-core_2.11: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\workspace\spark-2.1.0\core"): CreateProcess error=2, 系统找不到指定的文件。

三、运行编译指令

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.0 -DskipTests clean package

spark编译需要较多内存，设置2G
编译过程需要下载很多依赖包，推荐阿里云的镜像，由于网络原因，可能会卡死，下面是编译多次的结果
这里写图片描述

四、官网编译教程

http://spark.apache.org/docs/latest/building-spark.html

0 0