如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
来源:互联网 发布:zepto.js的animate 编辑:程序博客网 时间:2024/04/27 14:56
问题导读
1.通过什么途径,可以查看与spark兼容的组件版本?
2.如何获取pom文件?
3.pom文件中包含了哪些信息?
4.spark编译通过什么参数可以指定hadoop版本?
当我们安装spark的时候,很多时候都会遇到这个问题,如何找到对应spark的各个组件的版本,找到比较标准的版本兼容信息。答案在spark源码中的pom文件。首先我们从官网下载源码。进入官网
[Bash shell] 纯文本查看 复制代码
?
http:
//spark
.apache.org
选择download,然后我们看到下面内容
[Bash shell] 纯文本查看 复制代码
?
# Master development branch
git clone git:
//github
.com
/apache/spark
.git
# Maintenance branch with stability fixes on top of Spark 2.2.0
git clone git:
//github
.com
/apache/spark
.git -b branch-2.2
我们看到上面需要使用git下载。
如果你是window,那么可以装一个Linux虚拟机,或则直接在window上安装。window安装遇到的问题可参考
win7安装 git软件下载以及遇到的问题解决解决方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8521
这里使用Linux安装,更加方便。执行下面命令
[Bash shell] 纯文本查看 复制代码
?
sudo
yum
install
perl openssh git -y
上面安装完毕,下载源码
[Bash shell] 纯文本查看 复制代码
?
git clone git:
//github
.com
/apache/spark
.git
当然如果你不想这么麻烦,只想查看pom.xml文件,也可以直接访问
[Bash shell] 纯文本查看 复制代码
?
github.com
/apache/spark
.git
然后打开pom.xml即可
[Bash shell] 纯文本查看 复制代码
?
https:
//github
.com
/apache/spark/blob/master/pom
.xml
这时候我们可以查看里面的兼容信息spark的版本为2.3.0-SNAPSHOT
接着我们找到<properties>里面有各种所需软件的信息,比如
jdk1.8,hadoop位2.6.5,2.7.1,2.7.3。
flume版本为flume1.6.0,
zookeeper版本为3.4.6
hive为:1.2.1
scala为:2.11.8
这样我们在安装的时候就找到它们版本兼容的依据。
当然官网提供一种编译的版本,剩下的需要我们自己编译。下一篇我们讲该如何编译我们想要的版本。
这里需要说明的一个地方即maven的profile,是为了适应不同的版本。我们在编译的时候,可以通过-P指定版本
- 如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
- hadoop,hbase,hive,zookeeper版本整合兼容性详细说明【适用于任何版本】
- java+scala+zookpeeper+flume+kafka+maven+hadoop+hbase+hive+spark安装流程
- spark与scala版本问题
- hadoop、hbase、hive版本兼容信息
- scala版本kafka createStream
- scala版本kafka createDirectStream
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 云计算
- hadoop、hbase、hive等版本对应关系
- 如何查看hadoop的版本
- myeclipse注册机(适用于任何版本)
- 查看kafka的版本
- 查看hive版本
- 查看hive版本
- 查看hive的版本
- 教你如何升级索爱X10至Android 2.1(适用于任何版本)
- scala,spark版本冲突问题
- 裸体学霸又来了...一年一度的剑桥好屁股出结果了...
- Sublime Text3配置Python运行环境(实用)
- spark2 sql读取json文件的格式要求
- spark2.2 SparkSession思考与总结1
- spark2.2以后版本任务调度将增加黑名单机制
- 如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
- 【099】TensorFlow使用Docker方式安装
- 64位Ubuntu 14.04安装“ibc6-i386”依赖库解决办法。
- 毕业设计记录.起步篇
- DFS SPFA
- 2017.12.12
- Qt中嵌入视频并循环播放方法
- main函数相关
- java的后端技术