spark源码分析-源码编译(1)
来源:互联网 发布:图片怎么上传到淘宝网 编辑:程序博客网 时间:2024/06/03 19:53
写在前面的话
有了丰富的spark大数据处理经验和性能调优经验后,基于对spark高性能内存计算的爱慕,决定揭开其神秘的面纱,一睹芳容。
源码编译
在进行源码分析之前,最重要的一步是什么?
个人认为先把源码下载到本地,进行源码编译,编译成功后,就可以开启神秘探索的旅程了。万事开头难,no problem,我就喜欢迎难而上。
下载源码
1:登陆官网地址下载:http://spark.apache.org/downloads.html
选择相对应的版本,本文选择spark1.5.2
2:Github下载:git clone https://github.com/apache/spark编译方式
spark源码编译三大方式:
1:maven编译
2:sbt编译
3:打包编译make-distribution.sh
萝卜白菜,各有所爱,个人倾向于maven编译。- 心得
有时间,自己一定要动手编译源码,想要成为高手和大数据领域大牛,前面的苦,是必定要吃的。
无论是编译spark源码,还是hadoop源码。新手初次编译,一路会碰到很多问题,也许会花上个一天甚至几天,这个是正常。把心态端正就是!有错误,更好,解决错误,是最好锻炼和提升能力的。
OK,实践出真知!
编译步骤
工欲善其事,必先利其器。
选取一个好的编辑器非常重要,我在scala编程之前一直用的eclipse进行java的开发,刚开始使用idea的时候真不习惯,包括编译、刷新、快捷键的使用;后来摸熟了后渐渐的爱上了她。不要问我为什么,告诉你两个字:感觉(你懂的)
哥们,别急,在导入代码之前,先准备好以下几件装备:
1: 安装jdk1.7
2: 安装maven(版本3.0以上自由选择)
注意:如果没有联网,需要创建本地内网仓库
3: 在idea上安装scala的插件(版本与spark版本对应)本文选择2.10.4
OK,万事俱备,开始导入源码
1: 待源码导入后,如果pom.xml文件报错,一定是没有联网,可以把报错的maven依赖需要的包从网上下载放入maven本地仓库中。
2: 待pom.xml的所有错误消失后,点击工程后右键选中
maven->reimport将依赖的jar包全部导入到工程中。
3: 此时如果顺利的话,代码不会有报错。在cmd命令中进入spark的源码目录执行如下maven命令:
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -Psparkr -DskipTests clean package
很不幸,报错了:
出现错误:Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]
解决办法如下:
将脚本中的-Psparkr改成-PR即可。
脚本改完后继续编译:未完待续。
- spark源码分析-源码编译(1)
- Spark源码编译1.0.1
- Spark源码编译---Spark学习笔记1
- spark源码编译
- Spark源码编译
- 编译Spark源码
- spark安装、源码编译
- maven编译Spark源码
- spark源码编译
- sbt编译spark源码
- spark源码编译后记
- 编译spark源码
- Spark源码编译
- 编译spark源码步骤
- xmpp Spark源码编译
- maven编译spark 源码
- Spark、hadoop源码编译
- spark的源码编译
- ${name}用法
- Unity+PHP+MySQ实现用户登录注册
- 病毒侵袭持续中-AC自动机
- 网络——IP协议
- 537. Complex Number Multiplication
- spark源码分析-源码编译(1)
- http和https区别
- ORACLE 创建视图时,提示用户权限不足
- 我的 VMvare Workstation Pro 和 Ubuntu 的解决方案(持续更新)
- 欢迎使用CSDN-markdown编辑器
- Activity(活动)
- 535. Encode and Decode TinyURL
- Leetcode 155. Min Stack
- Lucene+hibernateSearch入门