hive 元数据升级
来源:互联网 发布:大数据imf行动 编辑:程序博客网 时间:2024/04/28 18:06
hadoop集群升级到HA模式,core-site.xml 的配置:fs.defaultFS 会变成 hdfs://clusterid 的形式,与之前的 hdfs://{namenode hostname} 的形式有很大的区别。
而对于hive旧的matadata,表的存储路径还是hdfs://{namenode hostname} 会造成,从hdfs上load到表的时候出现类似问题:
Move from: hdfs://qunarcluster/export/wirelessdev/log/etl/touchweb/2013/12/03/15/l-tc3.wap.cn1/part-00000.gz to: hdfs://l-hdpm1.data.cn6.qunar.com/user/hive/warehouse/wirelessdata.db/hive_etl_touch/dt=2013-12-03/hour=15/logtype=l-tc3.wap.cn1 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict
这个问题解决方法:http://stackoverflow.com/questions/19431074/hive-not-fully-honoring-fs-default-name-fs-defaultfs-value-in-core-site-xml
但是在metatool -updateLocation 的时候很容易爆内存,一定要加大内存
export HADOOP_CLIENT_OPTS=-Xmx16384m
一定要弄的很大哦,要不容易爆。而且一定要有耐心,相信马上就更新完成。
- hive 元数据升级
- hive 元数据解析
- hive 元数据解析
- hive 元数据
- HIVE元数据
- Hive 元数据解析
- Hive元数据解析
- Hive元数据解析
- hive-查询元数据
- Hive 元数据解析
- hive元数据
- HIVE元数据表/数据字典
- HIVE元数据表/数据字典
- HIVE元数据表/数据字典
- hive配置mysql元数据
- hive 元数据 mysql-1
- hive 元数据 mysql-2
- Hive的元数据信息
- MFC笔记
- 关于手机rom、ram、internal storage的问题?
- 电话本-----添加错误命令处理
- ICCV 2013 Accepted Tutorials
- 为Red Hat Enterprise Linux Server release 5.5搭建本地YUM源
- hive 元数据升级
- stm32关于BOOT0和BOOT1设置
- 比特币淘金热席卷中国专业“挖矿机”受疯抢
- const函数
- 比特币:一个让投资人为之疯狂的神奇货币
- adobe flash开发应用界面|炫
- 析构函数定义为虚函数
- 比特币沉浮录
- 2416相比2440的十大优势