Windows + IDEA + SBT 打造Spark源码阅读环境
来源:互联网 发布:南京软件 外包公司 编辑:程序博客网 时间:2024/04/30 13:57
Spark源码阅读环境的准备
Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成Spark平台应用的开发。因此,Spark源码阅读的IDE理所当然的选择了IDEA。
本文介绍的是Windows下的各项配置方法(默认已经装了java,JDK)。
下面列举搭建此环境需要的各个组件:
- IDEA,有两个版本:Ultimate Edition & Community Edition,后者是free的,而且完全能满足学习者所有的需求
- Scala,Spark是用Scala语言写成的,在本地编译执行需要这个包
- SBT,scala工程构建的工具
- Git,IDEA自动下载SBT插件时可能会用到的工具
- Spark Source Code,Spark源码
下载各个安装包。
IDEA,Scala,SBT,Git,Spark源码分别到官网下载官方版本即可。
Spark源码阅读环境的安装步骤
安装Scala。
完成后,在windows命令行中输入scala
,检查是否识别此命令。
如果不识别,查看环境变量Path中是否有....\scala\bin
(我的电脑右键,属性 -> 高级系统设置 -> 环境变量),没有的手动将Scala文件夹下的bin目录的路径
安装SBT
运行SBT的安装程序,运行完成后,重新打开windows命令行,输入sbt
,检查是否识别此命令。没有的话,手动配置环境变量,添加...\sbt\bin
运行完SBT的安装程序之后,并不意味着完成了sbt的安装,在windows命令放下输入sbt
后,SBT会自动的下载安装它所需要的程序包,请耐心等待全部下载成功。
安装Git
运行Git的安装程序,安装完成后,重新打开windows命令行,检查时候识别git
命令。
安装IDEA
安装IDEA的Scala插件
打开IDEA,在‘Welcome to IntelliJ IDEA’界面的‘Quick Start’栏,点击Configure
,选择Plugins
。
在弹出的窗口中可以看到已安装的插件,现在IDEA默认还没有Scala的插件。需要点击左下角的Install JetBrains plugin...
,在搜索框中输入‘scala’,点击安装。安装完成后可能会要求重启一下IDEA。
解压缩Spark Source Code包
导入Spark工程
在欢迎界面‘Quick Start’栏或者是在主界面的菜单栏File
下,选Import Project
,找到解压之后的spark工程文件夹,OK
。
选择import project from external model
中的SBT project
,(这个选项只有在安装了IDEA的Scala插件才会有)。
下一步,选择Project SDK为JDK,最好勾上Use auto-import
,然后点击Finish
。这时,IDEA会自动下载安装SBT所需的各个包,没有装Git的话可能会报错。
因为Spark是一个比较大的工程,所需的包也很多,这个过程也会特别慢,请耐心等待。
导入完成
导入完成后,自动打开工程,要等一段时间,等待sbt对这个工程进行编译。
本文内容整理自http://guozhongxin.com/pages/2014/10/15/spark_source_code.html,http://www.jianshu.com/p/41f21b0d52f8,所有权利归原作者所有。
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Windows下使用sbt打造Intellij Idea环境下Spark源码阅读环境
- Windows + IDEA + SBT 部署Spark源码阅读环境
- Spark-IDEA源码阅读环境搭建(Windows)
- idea sbt Spark环境搭建
- IntelliJ(IDEA)Spark源码阅读环境
- Intellij IDEA搭建Spark源码阅读环境
- spark idea 源码阅读环境搭建
- IDEA阅读Spark源码
- 用Windows7+IDEA+SBT搭建Spark源代码调试与阅读环境
- Spark源码阅读环境搭建[Windows版]
- [bzoj1189][HNOI2007]紧急疏散
- Which three statements are correct about temporary tables? (Choose three.) A. Indexes and views can
- Android利用Fiddler进行网络数据抓包
- DOM事件详解(二)
- 战五渣系列之三(6个命令)
- Windows + IDEA + SBT 打造Spark源码阅读环境
- NS-2.35中添加gpsr
- 浅谈线程
- Cocos2dx下的selector对比!
- 构建基于Nginx的web服务器
- iOS navigationbar 的一些自定义设置
- JS调用OC方法(1)
- 如何验证PDF文档中的数字签名
- Eclipse 用Hibernate Tools 生成 .hbm cfg.xml等文件