Hive<找不到Spark-assemblyJar包>
来源:互联网 发布:广电总局封网络机顶盒 编辑:程序博客网 时间:2024/06/07 12:57
版本:
apache-hive-1.2.1-bin.tar.gzspark-2.1.1-bin-hadoop2.7.tgz
1.问题陈述:
启动Hive的时候会说找不到spark-assembly相关的Jar包
cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory
2.原因:
spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
3.解决办法
进入hive安装路径下的bin目录下,编辑hive
我的路径是:/usr/local/apache-hive-1.2.1-bin/bin
找到下面这行shell脚本
sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
将其修改为:
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
阅读全文
0 0
- Hive<找不到Spark-assemblyJar包>
- hive启动报错,找不到spark的jar包们
- Spark jar包找不到解决方法
- spark jar包方式运行hive步骤
- Spark On Yarn之指定hive-site.xml找不到metastore
- Spark SQL读取hive数据时报找不到mysql驱动
- spark-submit提交jar包到集群找不到主类
- CDH5.1.0编译spark-assembly包来支持hive
- Spark-Hive
- Spark Hive
- 【spark】spark-hive操作
- spark sql读取hive数据时报找不到mysql驱动的解决办法
- 把Hive操作的spark代码丢到yarn上面运行找不到数据库
- 找不到包,找不到符号
- es与其他服务(hbase,spark,hive)jar包冲突时如何定位冲突包
- Spark和Hive集成使用时mysql驱动包无法加载解决办法
- Spark SQL with Hive
- hive on spark部署
- imgproc模块--直方图均衡化
- 类型转换
- LTE资源调度(4)-上行资源申请方式和BSR缓存状态报告
- 对象被使用之前先被初始化--定义于不同编译单元内的non-local tatic对象
- 并发编程笔记(三):Java 内存模型(二)
- Hive<找不到Spark-assemblyJar包>
- error & auto两种爱情观的深度可行性分析(舞步学院倾情奉献)
- 《现代操作系统(中文第三版)》课后习题——第九章 安全
- mysql修改服务器默认编码;
- 传统媒体报道中的网络:特征、议题与形象
- 启动selenium服务器
- Linux系统下shell脚本语言学习手册指南
- java中重载与重写的区别
- IntentService使用详解