Spark 1.5.2(Scala 2.11)版本的编译与安装
来源:互联网 发布:网络宣传部职能简介 编辑:程序博客网 时间:2024/06/05 16:35
Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。
有了前面的编译经验和之前下载好的java类包,花了大概一分钟就编译妥当,于是重新部署配置一下,马上OK。简直是高效率。
对于scala的编译,还是只需要一条语句。build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver assembly。
然后复制到各台电脑上。sudo scp -r spark-1.5.2 ndscbigdata@ubuntu-bigdata-8:/home/ndscbigdata/soft/
开启spark,进入spark 监控页面,1.5.2的版本马上就显现出来!
0 0
- Spark 1.5.2(Scala 2.11)版本的编译与安装
- Spark 1.6.0 (Scala 2.11)版本的编译与安装部署
- spark与scala版本问题
- IDEA spark 中scala的编译版本问题解决NoSuchMethodError (jvm )
- Spark编译与部署(下)--Spark编译安装
- Scala学习2之spark学习6之scala版本不同的问题
- Spark的安装,编译
- sbt的安装以及用sbt编译打包scala编写的spark程序
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- Spark-基础-Spark编译与部署--Spark编译安装
- Spark编译与部署(中)--Hadoop编译安装
- spark与scala jar包版本冲突问题
- Scala && Spark 安装
- spark、scala安装配置
- ganglia学习2之Spark编译带有ganglia的版本
- 学习没有捷径
- iOS开发中@property的属性weak nonatomic strong readonly
- 源码推荐(11.05):AFNetworking简单封装,瀑布流
- C#“Emgu.CV.CvInvoke”的类型初始值设定项引发异常
- Spark学习笔记0
- Spark 1.5.2(Scala 2.11)版本的编译与安装
- HDU 5524:Subtrees
- hdu 1023+1030+1134 卡特兰数+大数模板处理
- Hive日志调试
- Java反射机制浅析
- 从头认识java-9.1 类型安全的容器
- c++: 重载 覆盖 隐藏
- ASIHTTPRequest 详解
- ACM常用模板——数据结构——treap树