重新编译spark源码,使CDH支持spark sql
来源:互联网 发布:sql语句创建视图 编辑:程序博客网 时间:2024/05/14 15:24
1、编辑$MAVEN_HOME/bin/mvn文件,增加配置:
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
2、执行mvn命令:
mvn -Pyarn -PHadoop-2.6 -Dhadoop.version=2.6.0-cdh5.8.3 -Dscala-2.10.5 -Phive -Phive-thriftserver -DskipTests install
编译成功截图:
3、复制jar包:
cp spark-1.6.0/assembly/target/scala-2.10/spark-assembly-1.6.0-hadoop2.6.0-cdh5.8.3.jar /opt/cloudera/parcels/CDH-5.8.3-1.cdh5.8.3.p0.2/jars
4、修改jar包软链接(/opt/cloudera/parcels/CDH/lib/spark/lib):
ln -s ../../../jars/spark-assembly-1.6.0-hadoop2.6.0-cdh5.8.3.jar spark-assembly-1.6.0-cdh5.8.3-hadoop2.6.0-cdh5.8.3.jar ln -s spark-assembly-1.6.0-cdh5.8.3-hadoop2.6.0-cdh5.8.3.jar spark-assembly.jar
5、复制jar包到hdfs:
hdfs dfs -put /opt/cloudera/parcels/CDH/jars/spark-assembly-1.6.0-hadoop2.6.0-cdh5.8.3.jar /user/spark/lib
查看jar包:
[root@cdh1 lib]# hdfs dfs -ls /user/spark/libFound 1 items-rwxr-xr-x 3 hdfs spark 192854141 2016-12-28 13:54 /user/spark/lib/spark-assembly-1.6.0-hadoop2.6.0-cdh5.8.3.jar
6、复制spark-sql文件:
cp spark-1.6.0/bin/spark-sql /opt/cloudera/parcels/CDH/lib/spark/bin
7、配置CM:
0 0
- 重新编译spark源码,使CDH支持spark sql
- 重新编译spark 增加spark-sql适配CDH
- 编译spark源码使sparksql支持hive(cdh的)
- 实现CDH支持Spark SQL功能
- 实现CDH支持Spark SQL功能
- cloudera cdh 5.11 编译 启动spark thrift server spark sql
- 重新编译、安装spark assembly,使CDH5.5.1支持sparkSQL
- CDH 里面配置spark-sql
- [CDH--安装]--关于Spark版本的支持
- How-to: enable spark sql in cdh version spark
- spark源码阅读一 spark源码编译
- spark源码编译
- Spark源码编译
- 编译Spark源码
- spark安装、源码编译
- maven编译Spark源码
- spark源码编译
- sbt编译spark源码
- ]C#读取Excel数据,文件中某些数据竟然读到DataSet中却为空?
- 基于LDAP和Sentry的大数据认证和鉴权解决方案--Part One:LDAP集成
- Endnote 基本使用教程
- Wakelock API详解(屏幕常亮操作)
- elasticsearch2.3.3搭建及插件安装
- 重新编译spark源码,使CDH支持spark sql
- CUDA sample源码分析,dct8*8
- 404页面(Bootstrap)
- ui-router,目前见过最全的。特别是route参数
- C++ 面向对象基础
- C# 二叉树的综合操作(二):删除节点
- [Java数据结构]从源码分析HashMap
- phpRedis函数使用总结【分类详细】
- pycharm2016激活