Spark1.6.0 源码编译和部署包生成
来源:互联网 发布:淘宝做什么产品赚钱 编辑:程序博客网 时间:2024/06/06 20:38
文章基本采用官方指导:
1、在spark官网下载源码,要选择source code
2、在环境变量里设置maven内存大小
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
3、编译及打包
## 简单的编译Spark和example程序 mvn -DskipTests clean package ## 指定hadoop版本compilemvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.1 -DskipTests clean package ## 打包bash make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Pyarn -Phadoop-2.6 -Phadoop-provided -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 [--name 如果需要指定自己的tar名称] ## 打包 -- spark 1.4以后,取消了compute-classpath.sh脚本,导致所有通过本地起的程序无法找到hadoop相关的jar包,因此本地的程序需要使用如下的方式打包 make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Pyarn -Phadoop-2.6 -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 ## 指定hive sh make-distribution.sh --tgz --mvn /opt/maven/bin/mvn -Phive -Phive-thriftserver -Pyarn -Phadoop-2.6 -Pnetlib-lgpl -Phive -Pscala-2.10 -Dhadoop.version=2.7.1 -Dhive.version.short=1.2.1
4、注意事项:
本例子使用maven打包,如果你有私服,尽量配上,下载会快些。
0 0
- Spark1.6.0 源码编译和部署包生成
- Spark1.1.0 源码编译和部署包生成
- Spark1.0.0 源码编译和部署包生成
- Spark1.0.0 源码编译和部署包生成
- Spark1.1.0 源码编译和部署包生成
- CentOS6.5下编译spark1.6.0源码
- 编译spark1.6.1源码
- Spark1.6源码编译
- Spark1.6.2 源码编译
- spark1.2源码编译
- 基于hive0.13.1的spark1.6.0源码编译说明
- Spark1.0.0源码编译及安装
- 开发Spark1.5.2 Application | 编译Spark源码
- 如何将源码编译生成RPM包
- Win7 64bit hadoop-2.6.0源码编译部署包
- java编译运行和生成jar包
- Linux源码包编译和安装
- Linux源码包编译和安装
- 春哥的nginx systemtap调试脚本简单介绍
- Android扫描SD卡中所有图片,获得图片的名称、路径、大小
- CSS代码开发规范
- Android 内存泄漏
- 警校妹子的别样青春
- Spark1.6.0 源码编译和部署包生成
- C程序中的段错误跟踪
- 把自己的功能某块,嵌入到其他PHP项目当中
- c++ 文件及文件夹操作(三)
- boost::smart_ptr之智能指针
- Web开发基础Tomcat的配置以及http协议概述
- 【LeetCode】066.Plus One
- iOS之一路问题
- Lucene实践:全文检索的基本原理