从源码编译Cloudera CDH 5.7.1的Spark2.1.1
来源:互联网 发布:163邮箱smtp端口号 编辑:程序博客网 时间:2024/06/07 06:22
参考:https://rui.sh/build_cloudera_spark_from_source.html
$ ./make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Psparkr \
-Phive \
-Pflume-provided \
-Phadoop-provided \
-Phbase-provided \
-Phive-provided \
-Pparquet-provided \
-Phive-thriftserver
我自己修改的内容:
$ dev/make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Phive \
-Phive-thriftserver
pom.xml 文件中添加
<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories>
阅读全文
0 0
- 从源码编译Cloudera CDH 5.7.1的Spark2.1.1
- 如何源码编译对应CDH版本的Spark2.X
- cloudera cdh编译carbondata
- spark2.1源码编译
- 从yum安装Cloudera CDH集群
- 安装Cloudera Manager 5和,CDH-5.7.1的详细步骤
- Spark2.1.0源码编译
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- cloudera impala 源码编译
- cloudera impala 源码编译
- CDH的Cloudera Manage安装或升级
- CDH(Cloudera)版本的 Hadoop
- Cloudera CDH与Apache Hadoop的比较
- spark2.1源码分析2:从SparkPi分析一个job的执行
- cloudera cdh 5.11 编译 启动spark thrift server spark sql
- windows下spark2.1源码编译及修改
- git备忘录
- Lateral View用法 与 Hive UDTF explode
- hibernate对象的三种状态以及他们之间的转换
- org.apache.hadoop.mapred.YarnChild: GC overhead limit
- bzoj 3208: 花神的秒题计划Ⅰ
- 从源码编译Cloudera CDH 5.7.1的Spark2.1.1
- [并查集]BZOJ 1050——[HAOI2006]旅行comf
- Spring MVC通过CROS协议解决跨域问题
- 学习一门语言的三个技巧
- PAT (Advanced Level) Practise 1103 Integer Factorization (30)
- 能引用知名大公司的cdn文件尽量不要用自己服务器的,土豪级的服务器可无视
- 嵌入式
- DL学习笔记(1)-Deep Learning是一种“暴力碾压”的方法吗?
- 二.selenium爬取51job任意职位信息