编译spark源码步骤

为了阅读spark的源码，我们需要对它先进行编译，从而使Intelij能够跳转，从而方便阅读。

1，先下载spark压缩包

2，解压

3，通过观察，我们发现可以使用maven进行编译。是maven工程。因为存在pom.xml文件。

4，安装maven，请自行百度。

     存在pom.xml就是一个模块。所以我们将用intellij查看spark-core模块作为例子。也就是core文件夹包含的内容。

5，到core目录下，使用mvn clean compile 命令。这样mvn会自行从mvn中心库去下载依赖的jar包。这个过程特别漫长。

  由于是国外的网站，所以很慢。mvn将下载的jar包放在本地仓库，所以碰到下不动的jar包，你可以手动下载放过去。

  我整整花了一天才下载完。。。。

6，使用Intelij打开该子模块。 File->open

7,选择File-》settings  设置下maven 本地库，是让工程找到你下载的jar包的。

localrepository要选择正确。我是在maven中将本地仓库设置在d盘了。你在该目录下，你可以发现你用mvn clean compile命令下载的jar包。

Import mvn projects automatically 要勾选，这样依赖可以自动导入。

导入成功后就是现在这样了，可以查看spark的核心代码了。

想看其他spark其他模块类似。

主要是看pom.xml

如果想看所有，那就在顶级目录那里使用mvn compile  ，估计等一个月可以编译完成。。。当然你网速好那就幸福了。。。