Spark 1.5.2(Scala 2.11)版本的编译与安装

来源:互联网 发布:网络宣传部职能简介 编辑:程序博客网 时间:2024/06/05 16:35

Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。


有了前面的编译经验和之前下载好的java类包,花了大概一分钟就编译妥当,于是重新部署配置一下,马上OK。简直是高效率。


对于scala的编译,还是只需要一条语句。build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver assembly。



然后复制到各台电脑上。sudo scp -r spark-1.5.2 ndscbigdata@ubuntu-bigdata-8:/home/ndscbigdata/soft/


开启spark,进入spark 监控页面,1.5.2的版本马上就显现出来!


0 0
原创粉丝点击