spark源码编译(maven)
来源:互联网 发布:淘宝网夏季竹凉席坐垫 编辑:程序博客网 时间:2024/05/29 13:34
从Spark官网上下载编译好的安装包,并不一定能够满足需要,有时候希望通过阅读和调试Spark源码来深入理解其内部机制,这时候需要自己去手动编译Spark。
Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装sbt工具,而Maven安装则需要maven工具
准备:JDK,maven(或sbt)
1. 源码下载:
选择源码包,上传到开发环境并解压。
编译过程如下:
也可以参照官网,步骤简单:
http://spark.apache.org/docs/1.6.2/building-spark.html
2.maven编译
官方推荐maven编译,由于maven工具默认分配的内存比较小,因此需要将其内存上限调整。
$export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
编译
进入源码包下build目录下执行:
$mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.6.0 -Pspark-ganglia-lgpl -Phive -DskipTests clean package
参数表示生成的版本支持yarn,hadoop,hive,ganglia。编译过程我花了半小时。
最后生成源码包目录下生成jar包:
3.生成部署包
在源码包下找到脚本make-distribution.sh执行:
./make-distribution.sh --name 2.6.0 --tgz -Pyarn -Phadoop-2.2 -Pspark-ganglia-lgpl -Phive
最终生成和官网下载编译好的包一样,可以直接部署。
整个过程也半小时。
参考:
http://www.cnblogs.com/shishanyuan/p/4701656.html
阅读全文
1 0
- spark源码编译(maven)
- maven编译Spark源码
- maven编译spark 源码
- maven编译spark源码
- 使用maven编译spark源码
- Maven编译Spark源码总结
- 使用Maven编译Spark源码
- Spark -4:maven编译spark 源码
- maven编译spark源码(spark-2.3.0)
- idea 查看 spark 源码 ,并用 maven 编译
- 编译Spark-1.6.3源码--Maven工具
- windows下使用maven编译spark源码
- intellij idea 导入maven编译好的spark源码
- mac下利用IDEA工具Maven编译Spark源码
- idea maven 编译 spark
- spark maven编译
- spark源码编译
- Spark源码编译
- MonkeyRunner—API篇之MonkeyImage&MonkeyRunner
- Android中thread.start()出现的thread already exist错误
- iOS多线程---GCD
- 封装jQuery的ajax
- java.sql.SQLException: Table 'XXX' is marked as crashed and should be repaired异常修复
- spark源码编译(maven)
- 二叉树的一个重要性质
- HTML中 点击图片翻转文字
- 不改变button大小,扩大点击范围
- webrtc开源代码阅读1 分享
- ES6 类的继承
- CentOS / RHEL v6.x: Install And Configure Serial Console
- EL表达式
- tomcat 大并发报错以及解决方案!