1. 阅读spark源码之前的一些准备

来源:互联网 发布:北京通州淘宝城 编辑:程序博客网 时间:2024/06/05 02:06

在阅读之前具有以下知识或经验可能更好:

1.  在生产集群上使用过spark超过2个月;

2.  了解scala;

3.  了解spark;

4.   良好的英文阅读能力;

5.   了解git的使用;

6.    intellij IDE使用;

7.   MAVEN/SBT的使用;


作为源代码阅读修改者需要关注的几个网站:

1. spark开发的邮件列表:

    dev@spark.apache.org

2. spark JIRA管理

     https://issues.apache.org/jira/browse/SPARK

3. spark 官方网址 ;)

     http://spark.apache.org/

4. Devoloper Tools

    http://spark.apache.org/developer-tools.html

最好能在阅读源码前好好看一下社区目前的情况,了解社区之前处理的问题,现在的现状和未来的规划.


确保机器安装相应的软件,本机使用如下:

ubuntu 14.01

intellij IDE 2016.2.5

scala 2.11.8

maven 3.3.9

java 1.8.0_121

git

sbt


使用git来管理和下载源码(spark 2.2.0源码(开发版本)) :

http://blog.csdn.net/jack_nichao/article/details/51702571

使用源码中readme.md方法进行编译后将代码导入 intellij IDE.



0 0
原创粉丝点击