[CDH--安装]--关于Spark版本的支持
来源:互联网 发布:java截取汉字字符串 编辑:程序博客网 时间:2024/05/30 04:30
原文:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
Spark 2要求
以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。
继续阅读:
· CDH版本
· Cloudera Manager版本
· Scala 2.11要求
· JDK 8要求
CDH版本
CDH的适用版本如下所述。
Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本,CDH 5.9.2及更高版本,CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。
如果您正在使用这些CDH版本之一,则必须升级到Spark 2.0版本2或更高的宗地,以避免在使用Hive功能时出现Spark 2作业失败。
Cloudera分发的Apache Spark 2版本
CDH版本
2.2版本1
CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11,CDH 5.12
2.1版本1
CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11
2.0版本2
CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10
2.0版本1
CDH 5.7高达5.7.5,CDH 5.8高达5.8.4,CDH 5.9高达5.9.1,CDH 5.10.0。任何这些CDH版本中的任何更高维护版本都需要Spark 2.0 Release 2。
Spark 1.6服务可以与Spark 2在同一个集群上共存。这两个服务配置为不冲突并在同一个YARN集群上运行。
如果Spark 1已安装,Spark 2将使用CDH安装中的外部随机播放服务,如有必要,则安装随机播放服务。
由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。
确保同时在所有集群的所有计算机上安装或升级CSD和包裹。
Cloudera Manager版本
Cloudera Managerfor Spark 2的适用版本如下所述。
Cloudera分发的Apache Spark 2版本
Cloudera Manager版本
2.2版本1
Cloudera Manager 5.8.3,5.9及更高版本
2.1版本1
Cloudera Manager 5.8.3,5.9及更高版本
2.0版本2
Cloudera Manager 5.8.3,5.9及更高版本
2.0版本1
Cloudera Manager 5.8.3,5.9及更高版本
Scala 2.11要求
Spark 2不适用于Scala 2.10。仅使用Scala 2.11。
JDK 8要求
Cloudera发行版Apache Spark 2.2需要JDK 8。
- [CDH--安装]--关于Spark版本的支持
- cdh 安装 spark 2.1
- [CDH--安装]--CDH5和Cloudera Manager 5要求和支持的版本
- 编译spark源码使sparksql支持hive(cdh的)
- CDH版本离线安装的几个步骤
- [CDH--版本要求]--CDH 5和Cloudera Manager 5要求和支持的版本
- 实现CDH支持Spark SQL功能
- 实现CDH支持Spark SQL功能
- 一步一步完成如何在现有的CDH集群中部署一个与CDH版本不同的spark
- 重新编译spark源码,使CDH支持spark sql
- CDH版本的Maven依赖
- CDH 安装spark后,spark-shell启动报错
- Apache Kylin CDH版本安装部署
- CDH 5.12.0版本集群安装
- 关于使用“Hadoop free”版本的Spark
- CDH对hadoop的支持情况
- 安装cdh 版的impala
- CDH(Cloudera)版本的 Hadoop
- 强化学习
- SSH入门--员工管理系统
- iotop命令监控磁盘io
- 涂涂乐 通过shader实现目标区域正交图片提取,移动端可用
- AndroidStudio上打开之前的项目报错但是能运行
- [CDH--安装]--关于Spark版本的支持
- iOS 内省方法浅谈
- mybatis 传入null值解决方法
- 深入理解Java中的final关键字
- java设计模式汇总
- STM32时钟配置方法详解
- js 把线性的数据结构改成树形结构
- android 标题栏颜色渐变和阴影
- 如何将本地项目上传至GitHub(so easy!!!)