Hive创建二级分区表

来源：互联网发布：sql@id 编辑：程序博客网时间：2024/04/29 11:09

Hive创建二级分区表。

1、创建二级分区表，以按天、小时分区为例

drop table default.kwu_tracklog;create EXTERNAL table default.kwu_tracklog ( datetime string comment "时间 : 如2015-01-01 11:30:01:123",ip string comment "IP：用户本机IP或用户所在网段对外路由IP",cookieid string comment "用户cookie：和讯统一在用户端生成的唯一标志",userid string comment "用户和讯注册ID ：用户在和讯网的注册ID", logserverip string comment "记录日志服务器IP ： 和讯的日志收集服务器IP",referer string comment "来源 ：用户浏览网页的REFER",requesturl string comment "访问网址 ： 当前访问网址" ,remark1 string comment "【暂时没用】 ：该数据无意义，由于早期加入目前不能去除",remark2 string comment "【暂时没用】 ： 该数据无意义，由于早期加入目前不能去除",alexaflag string comment "ALEXA标志  ：这个字段也是早期加入，当用户安装alexa工具时值为1，否则为0.早期加入，目前来看应该没有任何意义了。",ua string comment "UA ：用户浏览器UA",wirelessflag string comment "无线频道标志：给无线频道专用的，一个单词，表示该文章对应和讯哪一个频道") comment "浏览轨迹日志"partitioned by(day string comment "按天的分区表字段",hour string comment "按小时的分区表字段")ROW FORMAT DELIMITED FIELDS TERMINATED BY ' 'STORED AS TEXTFILE location '/hdfs/hive/default/kwu_tracklog';

2、导入数据

load data local inpath '/diskg/hexunlogs/tracklog_by5min/tracklog_10.0.121.74/20151014/2015101414*.dat' overwrite into table default.kwu_tracklog partition (day='20151014',hour='14');load data local inpath '/diskg/hexunlogs/tracklog_by5min/tracklog_10.0.121.74/20151014/2015101415*.dat' overwrite into table default.kwu_tracklog partition (day='20151014',hour='15');

3、测试导入的数据

select count(*) from default.kwu_tracklog where day='20151014' and hour='14' limit 1;select count(*) from default.kwu_tracklog where day='20151014' and hour='15' limit 1;

1 0