【Windows】下【Spark】源码编译

谁说 巨硬 不能搞 Spark ？！

开玩笑，因为公司提供的是 Windows ，我能怎么办呢，我也很绝望啊。

最开始参考的链接(1)：https://github.com/lixiaowang/spark-notes/blob/master/ide-setup.md#%E7%BC%96%E8%AF%91spark%E9%A1%B9%E7%9B%AE

和链接(2)：http://blog.csdn.net/do_yourself_go_on/article/details/73129408

后来发现并没有什么用...

本文编译的是Spark-1.5.1 && Java7(jdk-1.7.0_79) && Scala-2.10.4 && IntelliJ IDEA 14.0.2

在 Spark 已经更新到 2.2.0 的情况下，仍然来搞 1.5.1 实在是工作需要...

Windows下使用 git bash (maven) 编译 spark源码

1、maven 配置阿里云镜像：

    <mirror>        <id>alimaven</id>        <name>aliyun maven</name>        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>        <mirrorOf>central</mirrorOf>      </mirror> 

2、解决（避免） OutOfMemoryError 的问题：

网上的教程普遍是去修改maven的 /bin/mvn.cmd

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000 -Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=512M

反正我改了没用！！！

于是决定直接在 git bash 里 export... 这个 trick 是从参考链接：

https://www.iteblog.com/archives/999.html来的。

$ export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=2048M -XX:ReservedCodeCacheSize=2048m"

机器内存不够 8g 的工友们可以改小一点试一试，网上推荐的一般是 512m~1000m ，我为了省事直接上了 2g ，毕竟现在 8g 已经标配了。

还有一个坑，是说 spark 源码的路径不能出现中文、不能有空格。

跳过测试，貌似可以加速编译：

3、编译成功：

参考链接：

(3)：http://f.dataguru.cn/thread-537920-1-1.html

(4)：http://www.dataguru.cn/thread-539343-1-1.html