1. 阅读spark源码之前的一些准备
来源:互联网 发布:北京通州淘宝城 编辑:程序博客网 时间:2024/06/05 02:06
在阅读之前具有以下知识或经验可能更好:
1. 在生产集群上使用过spark超过2个月;
2. 了解scala;
3. 了解spark;
4. 良好的英文阅读能力;
5. 了解git的使用;
6. intellij IDE使用;
7. MAVEN/SBT的使用;
作为源代码阅读修改者需要关注的几个网站:
1. spark开发的邮件列表:
dev@spark.apache.org
2. spark JIRA管理
https://issues.apache.org/jira/browse/SPARK
3. spark 官方网址 ;)
http://spark.apache.org/
4. Devoloper Tools
http://spark.apache.org/developer-tools.html
最好能在阅读源码前好好看一下社区目前的情况,了解社区之前处理的问题,现在的现状和未来的规划.
确保机器安装相应的软件,本机使用如下:
ubuntu 14.01
intellij IDE 2016.2.5
scala 2.11.8
maven 3.3.9
java 1.8.0_121
git
sbt
使用git来管理和下载源码(spark 2.2.0源码(开发版本)) :
http://blog.csdn.net/jack_nichao/article/details/51702571
使用源码中readme.md方法进行编译后将代码导入 intellij IDE.
0 0
- 1. 阅读spark源码之前的一些准备
- STL源码分析(1) -- STL介绍和源码分析之前的一些准备
- spark源码分析(2)-源码阅读环境准备
- Spark源码阅读笔记:Spark的Task
- Hadoop 2.x 源码阅读的准备
- 准备阅读Azureus源码
- Hadoop源码阅读准备
- spark学习之路----配置spark编译源码,准备阅读环境
- 找工作之前的准备
- 找工作之前的准备
- IDEA阅读Spark源码
- spark源码阅读1
- Spark-Core源码阅读
- spark源码阅读一 spark源码编译
- Spark 和hadoop的一些面试题(准备)
- Spark 和hadoop的一些面试题2(准备)
- Spark 和hadoop的一些面试题3(准备)
- 学习LINUX之前的准备
- 【转载】线性相位滤波器
- 解决在硬件加速下WebView切换闪屏的问题
- linux或windows部署多个项目不同端口号
- 搬家
- 基于LBS的地理位置附近的搜索以及由近及远的排序(MYSQL)
- 1. 阅读spark源码之前的一些准备
- CSS3.flexbox布局-父级容器属性
- iOS 内存优化 代理--weak
- 获取C++类成员虚函数地址
- 面向对象设计方法理解
- 欢迎使用CSDN-markdown编辑器
- T-SQL 之局部变量(1)
- Tomcat闪退
- 理解.NET中的CLR原理