【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
来源:互联网 发布:软件系统集成设计方案 编辑:程序博客网 时间:2024/05/01 00:12
1、问题描述
自从spark2.0.0发布之后,每次启动Hive的时候,总会发现一个小问题,启动 hive --service metastore的时候,会报一个小BUG: 无法访问<PathToSpark>/lib/Spark-assembly-*.jar
分析其源码架构,发现主要原因是:在/<PathToHive>/bin/hive文件中,有这样的命令:加载spark中相关的JAR包。
但是spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
2、解决方法:
修改/<PathToHive>/bin/hive文件,将加载原来的lib/spark-assembly-*.jar`替换成jars/*.jar,就不会出现这样的问题。
3、最后验证下:
0 0
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
- Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
- Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- 导入文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”中给出的 assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.
- Assembly
- Assembly
- assembly
- 编译支持hive的spark assembly
- Spark sbt-assembly 打包
- Deployment Assembly JAR
- Assembly.Get***Assembly的区别
- Assembly.Get***Assembly的区别
- Assembly.Get***Assembly的区别
- maven 打jar包 mvn assembly:assembly
- 使用assembly打出的独立可执行jar包启动时报错spring错误的解决方法
- maven打包的时候 ,将依赖包 打进同一个jar包命令 mvn assembly:assembly -DskipTests
- Mybatis入门案例
- 传说中的回调函数练习,也就是指针的深入理解
- 《牛客网剑指offer39题》输入一棵二叉树,判断该二叉树是否是平衡二叉树
- ioctl()函数获取本机ip,mask,mac
- android HTTPURLConnection解决不能访问HTTPs请求
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- Linux 磁盘IO性能测试工具:FIO
- 指针的引用
- 欢迎使用CSDN-markdown编辑器
- 关于win10无法正常关机
- HDU1232 畅通工程
- java中的内部类总结
- React-Native学习指南
- loopback修改密码功能(去掉邮箱验证了)