spark-2.2.0源码阅读环境的搭建
来源:互联网 发布:windows xp经典主题包 编辑:程序博客网 时间:2024/06/07 17:08
下载源码
去官网 下载 spark-2.2.0.tgz
解压后,用idea打开
pom maven需要下载很多包,并且加载,需要等待一下,最好建议改成阿里云的依赖仓库,这样比较快。不改也可以
找到example包中的SparkPi类,setMaster后运行这个类
运行的时候肯定会报错,很多情况下就是找不到类。spark源码放在idea中还是比较坑的啊,真是麻烦,但是一般也就下面两种情况,安装下面的方法就可以解决了
报错SparkFlumeProtocol 找不到
在intellij ieda里面:
- 打开View -> Tool Windows -> Maven Projects
- 右击Spark Project External Flume Sink
- 点击Generate Sources and Update Folders
随后,Intellij IDEA会自动下载Flume Sink相关的包
然后重新build -> Make Project,一切ok!!
This should generate source code from sparkflume.avdl.
Generate Sources and Update Folders do can resolve type SparkFlumeProtocol not found issue.
来源: http://apache-spark-developers-list.1001551.n3.nabble.com/A-Spark-Compilation-Question-td8402.html
报错 SparkSqlParser.包找不到
- IntelliJ 下载并且安装 antlr4插件
- 打开View -> Tool Windows -> Maven Projects
- 右击park Project Catalyst
- 点击Generate sources and update folders
运行java的sparkpi的时候报这个错
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConfat org.apache.spark.examples.JavaSparkPi.main(JavaSparkPi.java:41)
实在找不到问题,编译不报错,运行的时候就报错,肯定是少了某个包,估计是少了scala的包,然后去运行scala的LocalPi这个scala类,哇,这个都运行不了,报scala错误,搞了好久,难道在玩我。
后来自己写个scala的类,也报错,OK ,那确定是scala没引入。最后解决办法就是给加上scala的包了:
file->Project Structure->对这个example的项目加上scala的lib,然后再次运行~, OK 没问题,环境也就搭建好了
- spark-2.2.0源码阅读环境的搭建
- spark源码阅读环境搭建
- 搭建Spark源码阅读环境
- Spark-IDEA源码阅读环境搭建(Windows)
- Intellij IDEA搭建Spark源码阅读环境
- spark idea 源码阅读环境搭建
- Spark源码阅读环境搭建[Windows版]
- Spark-2.0 搭建源码阅读环境
- Spark2.0源码阅读---spark源码编译与IDEA导入搭建阅读环境
- Spark源码阅读环境搭建(基于Intellij IDEA)
- Windows下搭建Spark源码阅读与调试环境
- 搭建阅读android源码的环境
- 【Spark】配置Spark源码阅读环境
- [1.0]完美解读使用IDEA开发spark应用程序及spark源码阅读环境搭建
- Spark2.0源码阅读环境搭建 开发环境搭建
- spark源码走读环境搭建
- Hadoop源码阅读环境搭建
- kafka源码阅读环境搭建
- 434. Number of Segments in a String
- 2017年8月3日- 星期四
- 二叉排序树(Binary Sort Tree)的查找递归算法
- DOM拷贝clone()
- js高级程序设计(第三版)第二章
- spark-2.2.0源码阅读环境的搭建
- SpringMVC4.3x教程之五SpringMVC表单标签的使用
- Linux系统中的临时文件
- 深入解析Spring架构与设计原理-AOP
- 推广下自己的JAVA开源游戏服务端框架
- XML利用dom4j进行增删查改等方法
- html javascript函数(三)
- C#设计模式--单例模式
- 最大公约数(GCD)和最小公倍数(LCM)