Spark源码编译
来源:互联网 发布:杭州市行知小学地址 编辑:程序博客网 时间:2024/05/16 10:31
为什么需要编译?
因为不同版本的HDFS在协议上是不兼容的,所以如果你想用你的Spark从HDFS上读取数据,那么你就的选择相应版本的HDFS来编译Spark,这个可以在编译的时候通过设置hadoop.version来选择,默认情况下,Spark默认为编译成Hadoop 1.0.4版本。现在可以使用的方法有Maven编译,sbt编译(时间较长),Spark自带脚本编译(实际还是调用Maven)。
当然也可以去官网直接下载编译好的Spark,不过需要官方提供版本支持,我的hadoop版本为2.2,所以必须要自己编译。
采用spark自带脚本编译
因为该脚本其实是调用了Maven进行编译的,所以必须先安装Maven。
1. 安装Maven
从官网下载Maven包,解压到/usr/local/maven:
tar -zxf apache-maven-3.2.3-bin.tar.gz
sudo mv apache-maven-3.2.3 /usr/local/maven
配置安装目录:
sudo gedit /etc/profile
在末尾加上:
MAVEN_HOME=/usr/local/mvn
export MAVEN_HOME
export PATH=${PATH}:${MAVEN_HOME}/bin
验证:
mvn –v
2. 编译spark
在下载下来的Spark源码中的同一级目录下有个make-distribution.sh脚本,这个脚本可以打包Spark的发行包,可以通过下面的命令运行(编译成hadoop2.2版本,并打包):
./make-distribution.sh --tgz -Phadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.2.0
编译完成:
可以在spark目录下找到该包:
- spark源码编译
- Spark源码编译
- 编译Spark源码
- spark安装、源码编译
- maven编译Spark源码
- spark源码编译
- sbt编译spark源码
- spark源码编译后记
- 编译spark源码
- Spark源码编译
- 编译spark源码步骤
- xmpp Spark源码编译
- maven编译spark 源码
- Spark、hadoop源码编译
- spark的源码编译
- spark源码编译
- maven编译spark源码
- spark源码阅读一 spark源码编译
- Java中Collection子接口(2)——Set接口(传智播客毕老师视频讲解)
- 别样JAVA学习(二)语言基础上
- 更新一下研发进度
- HDU 5045 Contest(概率dp,状态压缩,2014上海网络赛1004)
- centos 6.5 6.3安装SSDB
- Spark源码编译
- S5PV210启动流程分析
- 一切成功源于积累——20140928 认识货币——英镑
- 哈弗大学的学生
- 怎样计算给定一个二进制数中为1的位数, 附源码
- git shell 命令大全
- NONATOMIC与ATOMIC的区别
- 有关ThinkPad T430、X230如何禁用触控板小红帽的问题
- 如何写一篇英文文章的Summary?