maven编译spark源码(spark-2.3.0)
来源:互联网 发布:csgo淘宝买枪 编辑:程序博客网 时间:2024/06/01 10:50
如何编译从Github上下载的Spark源码,然后使用Spark的Api?
本文将先介绍编译Spark最新源码的步骤,供参考。
一、环境准备
Centos-6.8
Scala-2.11.8
Jdk-1.8
Spark-2.3.0-SNAPSHOT(git clone https://github.com/apache/spark.git)
Python-2.7.10
Maven-3.3.9
二、编译
使用maven编译源码,命令行如下
执行以下命令之一:
1、mvn clean package -Dmaven.test.skip=true
2、mvn clean install -Dmaven.test.skip=true (发布到maven本地仓库中)
3、mvn -DskipTests clean package
4、mvn -DskipTests clean install (发布到maven本地仓库中)
三、等待编译完成
网络状况好或者提前已经下载好maven的相关插件和依赖包时,速度会很快,约15分钟左右。否则可能失败,或者耗时长。
四、使用api
1、构建maven项目
2、通过pom.xml引用即可
参考:
https://spark.apache.org/docs/latest/building-spark.html
阅读全文
0 0
- maven编译spark源码(spark-2.3.0)
- maven编译Spark源码
- maven编译spark 源码
- maven编译spark源码
- Spark -4:maven编译spark 源码
- 使用maven编译spark源码
- Maven编译Spark源码总结
- spark源码编译(maven)
- 使用Maven编译Spark源码
- idea 查看 spark 源码 ,并用 maven 编译
- 编译Spark-1.6.3源码--Maven工具
- windows下使用maven编译spark源码
- idea maven 编译 spark
- spark maven编译
- spark源码阅读一 spark源码编译
- spark源码编译
- Spark源码编译
- 编译Spark源码
- CSS 基础语法有哪些?
- opencv访问(Mat)图像的像素方法汇总
- redis界面客户端的简单安装与使用
- 3·深入MNIST
- QML程序架构设计(二)状态机应用
- maven编译spark源码(spark-2.3.0)
- Linux mount 硬盘挂载
- 转载:http://blog.csdn.net/u010128736/ ORB-SLAM2详解(二)代码逻辑
- 归并排序
- LitePal——Android数据库框架完整使用手册
- Java 设计模式 之 代理模式与装饰模式的区别
- c++一般函数与虚函数的区别
- Webservice 入门级教程(带图片)【转载】
- vs.Net 2003 安装