spark学习之路----配置spark编译源码,准备阅读环境
来源:互联网 发布:淘宝女装店扒皮aviva 编辑:程序博客网 时间:2024/06/01 23:09
一、我们常用的IDE又Intellij IDEA、Eclipse,我选用的是Eclipse编译spark
第一个是使用多年对它比较熟悉,另一个是社区使用Eclipse编译Spark的资料太少
在Windows系统编译Spark源码,除了安装JDK外,还需要安装以下工具。
(1)安装Scala
由于Spark 2.1.0版本的sbt里指定的Scala版本是2.11.8 ,具体见Spark源码目录下的文件\project\plugins.sbt。其中有一行:scalaVersion:="2.11.8"。所以选择下载scala-2.11.8.msi,下载地址:http://www.scala-lang.org/download/。
下载完毕,安装scala-2.11.8.msi。
(2)安装SBT
由于Scala使用SBT作为构建工具,所以需要下载SBT。下载地址:http://www.scala-sbt/org/,下载最新的安装包sbt-0.13.15.msi并安装
(3)安装Git Bash
由于Spark源码使用Git作为版本控制工具,所以需要下载Git的客户端,推荐使用Git Bash,因为它更符合Linux下的操作习惯。下载地址:http://msysgit.github.io/,下载最新的版本并安装。
(4)安装Eclipse Scala IDE插件
要在Eclispe中编译、调试、运行Scala程序,就要安装Eclipse Scala IDE插件。下载地址:http://scala-ide.org/download/current.html。
我本地使用的是直接安装插件的方法,打开Help-->Install New Software...选项,打开Install对话框
name:scala-2.11
location:http://download.scala-ide.org/sdk/helium/e38/scala211/stable/site
点击OK,稍等就会出现如下图示,全选,去掉联网更新插件
一路确定下一步,接着就是漫长的等待
二、下载Spark源码
1、首先访问Spark官网http://spark.apache.org/ 点击下载
接着会看到下一个页面的git地址
在要放源码的盘符下,创建目录,右键打开Git Bash工具,输入
git clone git://github.com/apache/spark.git
2、构建Scala应用
使用cmd命令进入到Spark更目录,执行sbt命令。会下载和解析很多jar包,要等待很长时间,大概一个多小时才执行完吧
3、使用sbt生成Eclipse工程文件
- spark学习之路----配置spark编译源码,准备阅读环境
- Spark源码阅读环境配置,以及手动编译Spark源码
- 【Spark】配置Spark源码阅读环境
- spark源码分析(2)-源码阅读环境准备
- 配置spark源码阅读windows环境
- spark源码阅读一 spark源码编译
- spark源码阅读环境搭建
- 搭建Spark源码阅读环境
- Spark开发环境及源码阅读环境配置
- spark源码阅读之spark-shell
- 在Mac下配置Spark源码阅读环境
- Spark学习笔记一:环境配置及数据准备
- Spark源码阅读之HistoryServer
- Spark源码编译---Spark学习笔记1
- Spark2.0源码阅读---spark源码编译与IDEA导入搭建阅读环境
- IntelliJ(IDEA)Spark源码阅读环境
- Spark-IDEA源码阅读环境搭建(Windows)
- Intellij IDEA搭建Spark源码阅读环境
- PAT B1062
- 语句整理
- sdut2879——Colorful Cupcakes(枚举终点记忆化搜索)
- 依赖注入那些事儿
- OpenCV中Ptr<>的应用的几点问题
- spark学习之路----配置spark编译源码,准备阅读环境
- Cache.Insert 与 Cache.Add 区别
- Servlet之过滤器详解
- 制作WIN10U盘启动盘
- React Native ViewPagerAndroid使用小结
- PAT B1061
- NYOJ 203 三国志 最短路 + 贪心 01 背包 的思想
- [hdu4656] Evaluation
- 机器学习常用评价指标总结