Win7下IDEA搭建Spark源代码阅读环境。

来源:互联网 发布:好玩的app软件 编辑:程序博客网 时间:2024/06/06 07:07

一:实验环境准备:

  1. JDK: Java 语言的软件开发工具包(SDK)
  2. Scala:Spark是用Scala语言写成的,在本地编译执行需要这个包
  3. SBT:scala工程构建的工具
  4. Git:IDEA自动下载SBT插件时可能会用到的工具
  5. IDEA:有两个版本:Ultimate Edition & Community Edition
  6. SparkSource Code:Spark源码
以上软件或者安装包可以自行在网上下载,其中的jdk,scala,sbt,git在安装配制后需要到cmd命令行确认是否安装成功
  • JDK软件验证测试:完成后,在windows命令行中输入Java -version,检查是否识别此命令。如果不识别,查看环境变量Path中是否有....\jdk\bin(我的电脑右键,属性 -> 高级系统设置 -> 环境变量),如果没有,自己手动添加Scala文件夹下的bin目录的路径。
  • Scala软件验证测试:完成后,在windows命令行中输入scala,检查是否识别此命令。如果不识别,查看环境变量Path中是否有....\scala\bin(我的电脑右键,属性 -> 高级系统设置 -> 环境变量),如果没有,自己手动添加Scala文件夹下的bin目录的路径。
  • SBT软件验证测试:运行SBT的安装程序,运行完成后,重新打开windows命令行,输入sbt,检查是否识别此命令。没有的话,手动配置环境变量,添加...\sbt\bin。运行完SBT的安装程序之后,并不意味着完成了sbt的安装,在windows命令放下输入sbt后,SBT会自动的下载安装它所需要的程序包,请耐心等待全部下载成功。
  • Git软件验证测试:运行Git的安装程序,安装完成后,重新打开windows命令行,检查时候识别git命令。没有的话,手动配置环境变量,添加...\git\bin。
  • 安装IDEA软件,按要求直接安装即可。
  • Spark源代码,到官方网站下载

二:IDEA的Scala插件安装:

  1. 选择FileàSetting
  2. 选择右侧的 Install Jetbrains Plugin, 在弹出窗口的左侧输入scala,然后点击安装
  3. scala插件安装结束,需要重启idea生效

三:SBT编译Spark源代码

  1. 在cmd命令行进入源代码所在目录,路径最好不要有中文,命令如下:
  2. 先用命令sbt,会开始下载一堆东西下载完成后如下
  3. 再用命令gen-idea,等。。。。(这个过程根据网络状况和服务器端的心情而定,我编译用了一天半...)

四:在IDEA中导入Spark工程(切记路径不要有中文)

  1. 在主界面的菜单栏File下,选Import Project,找到解压之后的spark工程文件夹。
  2. 选择项目类型为sbt project,然后点击next。(这个选项只有在安装了IDEA的Scala插件才会有)。
  3. 确定SBT project项目的位置,最好勾上Use auto-import,然后点击Finish。这时,IDEA会自动下载安装SBT所需的各个包,没有装Git的话可能会报错。
  4. 导入完成后,自动打开工程,要等一段时间,等待sbt对这个工程进行编译。编译完成后就可以进行Spark源代码进行研究了。

参考文献:http://m.blog.csdn.net/blog/zhongwen7710/42401445

0 0
原创粉丝点击