Win7下IDEA搭建Spark源代码阅读环境。
来源:互联网 发布:好玩的app软件 编辑:程序博客网 时间:2024/06/06 07:07
一:实验环境准备:
- JDK: Java 语言的软件开发工具包(SDK)
- Scala:Spark是用Scala语言写成的,在本地编译执行需要这个包
- SBT:scala工程构建的工具
- Git:IDEA自动下载SBT插件时可能会用到的工具
- IDEA:有两个版本:Ultimate Edition & Community Edition
- SparkSource Code:Spark源码
- JDK软件验证测试:完成后,在windows命令行中输入Java -version,检查是否识别此命令。如果不识别,查看环境变量Path中是否有....\jdk\bin(我的电脑右键,属性 -> 高级系统设置 -> 环境变量),如果没有,自己手动添加Scala文件夹下的bin目录的路径。
- Scala软件验证测试:完成后,在windows命令行中输入scala,检查是否识别此命令。如果不识别,查看环境变量Path中是否有....\scala\bin(我的电脑右键,属性 -> 高级系统设置 -> 环境变量),如果没有,自己手动添加Scala文件夹下的bin目录的路径。
- SBT软件验证测试:运行SBT的安装程序,运行完成后,重新打开windows命令行,输入sbt,检查是否识别此命令。没有的话,手动配置环境变量,添加...\sbt\bin。运行完SBT的安装程序之后,并不意味着完成了sbt的安装,在windows命令放下输入sbt后,SBT会自动的下载安装它所需要的程序包,请耐心等待全部下载成功。
- Git软件验证测试:运行Git的安装程序,安装完成后,重新打开windows命令行,检查时候识别git命令。没有的话,手动配置环境变量,添加...\git\bin。
- 安装IDEA软件,按要求直接安装即可。
- Spark源代码,到官方网站下载
二:IDEA的Scala插件安装:
- 选择FileàSetting
- 选择右侧的 Install Jetbrains Plugin, 在弹出窗口的左侧输入scala,然后点击安装
- scala插件安装结束,需要重启idea生效
三:SBT编译Spark源代码
- 在cmd命令行进入源代码所在目录,路径最好不要有中文,命令如下:
- 先用命令sbt,会开始下载一堆东西下载完成后如下
- 再用命令gen-idea,等。。。。(这个过程根据网络状况和服务器端的心情而定,我编译用了一天半...)
四:在IDEA中导入Spark工程(切记路径不要有中文)
- 在主界面的菜单栏File下,选Import Project,找到解压之后的spark工程文件夹。
- 选择项目类型为sbt project,然后点击next。(这个选项只有在安装了IDEA的Scala插件才会有)。
- 确定SBT project项目的位置,最好勾上Use auto-import,然后点击Finish。这时,IDEA会自动下载安装SBT所需的各个包,没有装Git的话可能会报错。
- 导入完成后,自动打开工程,要等一段时间,等待sbt对这个工程进行编译。编译完成后就可以进行Spark源代码进行研究了。
参考文献:http://m.blog.csdn.net/blog/zhongwen7710/42401445
0 0
- Win7下IDEA搭建Spark源代码阅读环境。
- win7 环境下 运用maven在Idea上 搭建spark
- Spark-IDEA源码阅读环境搭建(Windows)
- Intellij IDEA搭建Spark源码阅读环境
- spark idea 源码阅读环境搭建
- Win7下Spark环境搭建
- 用Windows7+IDEA+SBT搭建Spark源代码调试与阅读环境
- Window下spark开发环境搭建IDEA
- Intellij Idea环境下Spark源码阅读环境
- Intellij Idea环境下Spark源码阅读环境
- Spark源码阅读环境搭建(基于Intellij IDEA)
- Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境
- [1.0]完美解读使用IDEA开发spark应用程序及spark源码阅读环境搭建
- Spark2.0源码阅读---spark源码编译与IDEA导入搭建阅读环境
- Winows7下搭建Spark Streaming+IDEA+Maven开发环境
- Windows下使用IntelliJ IDEA搭建Spark环境
- idea sbt Spark环境搭建
- Windows下搭建Spark源码阅读与调试环境
- H264中的SPS、PPS提取与作用
- 安装SQL server2008教程及常见问题的解决
- hihoCoder 1236 Scores(2015北京赛区网络赛)
- Head First 设计模式 阅读笔记(一)
- 点击启动图标如何定位到App上次打开的页面
- Win7下IDEA搭建Spark源代码阅读环境。
- IOS UIWebView请求https站点及html页面内部ajax请求 对https的支持
- 黑马程序员_集合之单列集合
- JQGrid 学习
- iOS开发——用keychain来保存更隐秘的数据
- OOM出现情况
- VIM 复制粘贴小结
- Cache数据库的M语言之把图片转成Base64
- 二叉树递归遍历和非递归遍历