spark 编译安装
来源:互联网 发布:sai mac 打不开 编辑:程序博客网 时间:2024/06/09 23:35
生产环境下,不能直接使用从官网下载的预编译好的包,因为,生产环境下的hadoop版本各不相同。而在我们自己编译的时候可以自行指定hadoop版本。
1、spark版本
- apache
- CDH
- PDH
- 本次使用apache 版本下的spark.v2.1.0
2、下载源码(git)
- 安装maven (3.3.9以上 )
wget http://mirrors.shuosc.org/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz
- 设置maven目录下conf/settings的mirror加快下载速度:
<mirror> <id>nexus-uk</id> <mirrorOf>central</mirrorOf> <name>nexus uk</name> <url>http://uk.maven.org/maven2/</url></mirror>
- 设置maven的环境变量
- 安装git
sudo yum install git
- git clone 下载源码
git clone https://github.com/apache/spark.git
3、编译
- 参考官方文档:http://spark.apache.org/docs/2.1.0/building-spark.html
- 对2.1.0版本进行编译
因为我本地jdk是1.7的,无法支持最新版本,所以要先进到v2.1.0版本下:git checkout v2.1.0
- 可能遇到的问题
- 需要安装R
R没有在centos的软件库中:$sudo yum install R
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile</li>
<li>base: mirrors.163.com</li>
<li>extras: mirrors.163.com</li>
<li>updates: mirrors.163.com
No package R available.
Error: Nothing to do
这时我们可以先安装下扩展的软件库,epelxxx,先查看下扩展软件库的名字,然后安装它:
- 需要安装R
[hadoop@hadoop01 spark]$ yum list epel*Loaded plugins: fastestmirrorDetermining fastest mirrors * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirrors.sohu.comAvailable Packagesepel-release.noarch[hadoop@hadoop01 spark]$ yum install epel-release#这时再yum list R就能找到了,安装R[hadoop@hadoop01 spark]$ yum install R
- 有些依赖的组件下载不下来
- 可以直接在公开的maven仓库或者mirror中搜索组件,手动下载并install到本地
- 如果网上搜不到,可以查看下spark的pom.xml,看它的repository有哪些,然后我们直接在它所给的url中找
- 第一次打包时需要跳过测试
- 最后,可以多试几次,有时候只是网速问题
- BUILD FAILURE
[ERROR] Java heap space -> [Help 1]
[ERROR] PermGen space -> [Help 1]
这些错误都是由于mvn的内存设的不够,加大内存即可。
阅读全文
0 0
- spark安装、源码编译
- Spark的安装,编译
- spark安装和编译
- spark 编译安装
- Spark编译安装
- Spark-基础-Spark编译与部署--Spark编译安装
- 编译安装spark-2.2.0
- Spark-基础-Spark编译与部署--Hadoop编译安装
- Spark编译与部署(下)--Spark编译安装
- Spark学习16之Spark 2.0.0-preview编译安装
- 记一次spark的编译安装
- sbt 安装以及编译spark程序
- spark--01编译安装spark1.3.1
- Spark基本介绍和编译安装
- spark-1.6.0源码编译安装
- spark源码编译、配置安装、测试
- CarbonData编译、安装和集成Spark 2.2
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- pandas reshape
- 迭代器失效的总结
- 【Linux内核驱动】基于platform总线的miscdevice驱动(LED)
- 树莓派
- 启动本地项目方法
- spark 编译安装
- tomcat6-源码分析(2)
- mysql的event schedule 可以让你设置你的mysql数据库再某段时间执行你想要的动作【mysql事件调度器】
- ICSE 2017 Do Developers Read Compiler Error Messages? 阅读笔记
- H5PostMessages实现跨页面通信
- Netty浅析
- 第八章El表达式第五节el表达式集合操作
- jQuery学习笔记
- 根据月份运算天数