HIVE分区表新增字段后新增字段值为空,需要带分区加字段

来源:互联网 发布:网络拥塞控制方法 编辑:程序博客网 时间:2024/05/20 00:35

hive分区表新增字段后新增字段值为空的情况。

网上查了资料,提供了两种解决办法:

1. 修改hive元数据SDS表的CD_ID字段,原因是修改表结构后,元数据库中的SDS中该表对应的CD_ID会改变,但是该表分区下面对应的CD_ID还是原来表的CD_ID

2.删除当前分区重建

这两个办法都不太适应,办法1修改元数据库风险大,办法2可能会导致数据丢失。


通过测试发现如下规律,先给出结论:

在分区表里增加字段后,向分区表插入数据有两种情况:
1.分区在修改表结构前存在
2.分区在修改表结构前不存在
对于第二种情况,即加字段后跑的分区,bug不存在
针对第一种情形,
执行alter table HIVE_TALBLE add columns(ttzz string);  查分区数据新增字段值为空,
需再执行alter table HIVE_TALBLE  partition(pt_d='20171111') add columns(ttzz string);【假设当前只有pt_d='20171111'的分区】

原创粉丝点击