使用IDEA搭建Spark源码环境及编译Spark源码

一、从 spark 官网 http://spark.apache.org/downloads.html 下载指定版本的源码包，并解压

二、用源码包里自带的脚本进行编译，spark 有两种编译模式，sbt 和 maven，我用的 maven，可以根据需要设定编译参数，参数参看：http://spark.apache.org/docs/latest/building-spark.html

我个人用的是：./build/mvn -Dhadoop.version=2.7.1 -Phadoop-2.6 -DskipTests clean package

三、用 idea 直接 Import，选中 pom.xml 文件导入，等待 index 完成即可。