spark 源代码分析 (一)准备阶段: idea 导入spark 源代码
来源:互联网 发布:程序员 转行 投资 编辑:程序博客网 时间:2024/06/07 22:27
按计划这几天应该分析zookeeper,结果项目组将我换工作了,以后可能就专门研究开源的代码hbase,我自己想研究spark,提前准备一下,或者以后有更多机会。
spark 研究准备
1)jdk 安装
2)scala 安装
3)spark 安装。
如果想部署一个单机版本,可以安装上面的东西做一些,否则,你可以跳过上面的步骤。
·1)idea 准备,去官网下载一个idea 社区版的。并安装
2)打开Idea,安装scala
这个过程可以选择,启动后的plugin里安装
或者去setting里
选择在线安装就行。
3) 去github 下载spark master,如果你安装git可以直接下载master ,或者直接下载压缩包。
4)安装maven,如果你不知道怎么配置,百度,或者留言
提供一个比较好的miror
5)用idea 打开spark ,配置maven的
6)长时间的等待下载依赖包,如果中间出现什么问题可以留言。我基本等了半个多小时。
7) 配置一下jdk
基本可以用了
最后的结果
按计划这几天应该分析zookeeper,结果项目组将我换工作了,以后可能就专门研究开源的代码hbase,我自己想研究spark,提前准备一下,或者以后有更多机会。
spark 研究准备
1)jdk 安装
2)scala 安装
3)spark 安装。
如果想部署一个单机版本,可以安装上面的东西做一些,否则,你可以跳过上面的步骤。
·1)idea 准备,去官网下载一个idea 社区版的。并安装
2)打开Idea,安装scala
这个过程可以选择,启动后的plugin里安装
或者去setting里
选择在线安装就行。
3) 去github 下载spark master,如果你安装git可以直接下载master ,或者直接下载压缩包。
4)安装maven,如果你不知道怎么配置,百度,或者留言
提供一个比较好的miror
5)用idea 打开spark ,配置maven的
6)长时间的等待下载依赖包,如果中间出现什么问题可以留言。我基本等了半个多小时。
7) 配置一下jdk
基本可以用了
最后的结果
阅读全文
0 0
- spark 源代码分析 (一)准备阶段: idea 导入spark 源代码
- 大数据IMF传奇行动 IDEA导入spark源代码! 走入spark源代码世界!
- 使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码
- spark 源代码分析 (二)spark启动过程
- 第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码(Spark streaming源代码导入IDEA)
- spark core 2.0 MemoryPool 源代码分析
- Spark 源代码 SparkContext
- spark源代码阅读用idea出现的问题
- Win7下IDEA搭建Spark源代码阅读环境。
- 如何将spark源代码导入到idea 14的工程中?sbt编译老是通不过啊
- Spark2.8.0源代码导入,XMPP即时通讯Openfire和Spark源代码导入
- Spark2.8.0源代码导入,XMPP即时通讯Openfire和Spark源代码导入
- D35 Spark源代码(待补充)
- CouchDB源代码分析准备
- libevent项目分析(一) -- 准备阶段
- hadoop 源代码阅读(一 环境准备)
- spark异常分析(一)
- 准备web server 源代码分析
- POJ 2411 Mondriaan's Dream (状压DP)
- [读书笔记] 《Python 机器学习》- 使用嵌套交叉验证进行模型选择
- POJ 1273 Drainage Ditches(网络流入门)
- string容易忽略的一些问题
- HDU-2604(递推+矩阵快速幂)
- spark 源代码分析 (一)准备阶段: idea 导入spark 源代码
- 嵌入式系统学习——S3C2451之2.4寸LCD函数封装
- ZooKeeper教程(二)----zookeeper单机版伪集群
- shell脚本学习第四天——bash内部变量,变量主串,变量替换
- 数据结构基本概念总结
- 不容易系列之(4)——考新郎--错排公式&&排列组合
- Matisse Android图片选择器详细使用
- 洛谷 P1023 税收与补贴问题 (2000NOIP提高组)
- 数组的粒度问题