Spark1.5.1源码(Scala 2.11.7)的编译步骤
来源：互联网 发布：python的join函数 编辑：程序博客网 时间：2024/06/05 19:00
在编写spark程序的过程中，如果以master=local的方式是可以正常搞定的，然而如果将master设置为spark集群的方式则总是报各种错，通过源码查看，主要是AKKA通信与序列化之间的问题，而其核心原因是scala版本不匹配的问题。默认从apache官网下载的BIN包只支持2.10的，而2.11版本的还需要自己搞定。
看了官网说明，主要有两种编译方式，一种是MVN，另一种SBT。
首先试了下MVN，多试了几下，总是在MQTT 流编译那块卡壳，没有办法，只好测试SBT。
输入：build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver assembly，经过漫长的等待，不过最终还是成功了。最好还是重新编译，顺便把这个HIVE的问题也解决了。以前采用没编译的版本也经常出现HIVE的各种错误。
0 0
- Spark1.5.1源码(Scala 2.11.7)的编译步骤
- 编译spark1.6.1源码
- Spark1.6源码编译
- Spark1.6.2 源码编译
- spark1.2源码编译
- 基于hive0.13.1的spark1.6.0源码编译说明
- spark1.6.0+Hadoop2.6.0+Scala-2.11.7 搭建分布式集群
- Spark1.0.0源码编译及安装
- 开发Spark1.5.2 Application | 编译Spark源码
- CentOS6.5下编译spark1.6.0源码
- 编译CDH的spark1.5.2
- Spark1.5.1 编译与安装
- 生产环境下 Spark1.3.1 源码编译 thrift功能 及碰到的问题
- Linux下编译android源码的步骤
- Linux下编译android源码的步骤
- 【Android】编译Android源码的简明步骤
- 编译Android源码前的一个步骤
- Spark1.1.0 源码编译和部署包生成
- 解决chrome下用google搜索图片第二页以后不显示的问题(转)
- 软件测试开发技术Java初学者需要了解的几个基础问题
- ATM系统功能需求
- 在线编程题 炮台攻击
- iOS WebView
- Spark1.5.1源码(Scala 2.11.7)的编译步骤
- 如何关闭MyEclipse的update（转）
- Android自定义捕获异常
- 黑马程序员——多线程
- 输出所有的水仙花数
- 简单计算器
- Mark
- 使用递归逆序一个栈
- ascii码问题
