从源码编译Cloudera CDH 5.7.1的Spark2.1.1

来源:互联网 发布:163邮箱smtp端口号 编辑:程序博客网 时间:2024/06/07 06:22

参考:https://rui.sh/build_cloudera_spark_from_source.html

$ ./make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Psparkr \
-Phive \
-Pflume-provided \
-Phadoop-provided \
-Phbase-provided \
-Phive-provided \
-Pparquet-provided \
-Phive-thriftserver

我自己修改的内容:

$ dev/make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Phive \
-Phive-thriftserver

pom.xml 文件中添加

<repositories>   <repository>     <id>cloudera</id>         <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>     </repository>  </repositories>
原创粉丝点击