解决NameNode配置HA后Hive路径不正确的问题
来源:互联网 发布:腊肠犬 知乎 编辑:程序博客网 时间:2024/05/21 17:07
解决NameNode配置HA后Hive路径不正确的问题
在CDH5.7下,配置了NameNode的HA后,Hive无正常查询数据了,但是其他的组件HDFS , HBase ,Spark都正常的。
Hive查询会出现如下异常:
FAILED: SemanticException Unable to determine if hdfs://bdc240.hexun.com:8020/user/hive/warehouse/test1 is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://bdc240.hexun.com:8020/user/hive/warehouse/test1, expected: hdfs://nameservice1
各种重装服务折腾都没有解决。
经朋友提醒应该是Hive元数据的问题,在Hive数据库中有两张表:
DBS : Hive数据仓库的总路径
SDS : Hive每张表对应的路径
数据库中保存了原来的hdfs的路径,修改成HA对应的别名即可
通常元数据库都采用mysql使用sql进行字段内容替换非常方便:
相关sql规范:
update 表名 set 字段名=REPLACE (字段名,'原来的值','要修改的值')
修改范例:
update DBS set DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,'bdc240.hexun.com:8020','nameservice1');update SDS set LOCATION=REPLACE (LOCATION,'bdc240.hexun.com:8020','nameservice1');
3 0
- 解决NameNode配置HA后Hive路径不正确的问题
- NameNode配置HA后及其反过程Hive路径不正确的问题解决
- hadoop2 namenode HA的问题
- 基于NameNode HA的Hbase安装配置
- NameNode HA配置详解
- Cloudera 配置NameNode HA
- 配置hadoop2.X的namenode HA及Yarn HA
- Hadoop HA QJM 与RM的自动容灾 以及hbase与Hadoop HA的 配置ha后hive修改
- 如何解决访问页面路径不正确的问题
- hadoop ha配置后一个namenode不能自动failover,相当于没有配置ha
- Namenode HA原理以及配置
- 解决拷贝的虚拟机网卡配置不正确的问题
- Cloudera Manager5配置管理之配置Namenode 的HA
- Cloudera Manager5配置管理之配置Namenode 的HA
- 解决“由于应用程序配置不正确,应用程序未能启动”的问题
- 一种解决运行程序报“应用程序配置不正确”的问题
- 一种解决运行程序报“应用程序配置不正确”的问题
- hadoop ha 只能同时启动一个namenode问题的解决方案
- LeetCode 343: Integer Break 题解
- OpenGL ES着色器语言之内建函数(官方文档第八章)
- iOS 开发之 KVC - setValuesForKeysWithDictionary 解析神器
- linux 内核内存分配
- 微信开发之本地开发环境的部署;本地当服务器!实时调试;
- 解决NameNode配置HA后Hive路径不正确的问题
- Python实践课-点球大战
- json字符串与json对象的区别
- 如何选择 compileSdkVersion, minSdkVersion 和 targetSdkVersion
- 【CodeForces 397A 】On Segment's Own Points(水题)
- hdu 2151
- Top k问题(线性时间选择算法)
- Codeforces Round #339 (Div. 2) (B 模拟)
- android 双击返回键退出应用核心代码