Spark读码笔记之核心源码编译

前记

学习Spark源码，首先应通读核心模块Core代码。由于日常使用的编码和调试工具都在windows下（如eclispe IDE），在windows下创建可编译、可调试的eclipse项目，对学习源代码非常有帮助。
本文的目的就是，针对Spark2.10源代码，以最少改动，建立一个core模块的eclipse项目。

工具及代码

• Java 1.8.0_111
• Scala 2.12.1
• Maven 3.3.9
• sbt 0.13.13
• eclipse 4.6.1
• Scala IDE for Eclipse 4.4.1
• spark-2.1.0 source

core模块及其依赖模块

• core
  
  • tags
  • unsafe
  • network-common
  • network-shuffle
  • launcher

父模块pom.xml

禁用代码检查

下列plugin，增加<skip>true</skip>配置
scalastyle-maven-plugin
maven-checkstyle-plugin

使用java 1.8

<java.version>1.8</java.version> 

安装pom.xml至本地库

mvn install:install-file -Dfile=pom.xml -DpomFile=pom.xml

安装依赖模块至本地库

cd common/tagsmvn install -DskipTestscd common/network-commonmvn install -DskipTestscd common/network-shufflemvn install -DskipTestscd unsafemvn install -DskipTestscd launchermvn install -DskipTests

创建core模块的ecplise项目

cd coremvn install -DskipTestsmvn eclipse:eclipse