Hive表分区
来源:互联网 发布:乐乎pt上不去 编辑:程序博客网 时间:2024/06/01 07:36
必须在表定义时创建partition
a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。
以dt为文件夹区分
b、 双分区建表语句:create table day_hour_table (id int, content string) partitioned by (dt string, hour string);双分区表,按天和小时分区,在表结构中新增加了dt和hour两列。
先以dt为文件夹,再以hour子文件夹区分
添加分区表语法(表已创建,在此基础上添加分区):ALTER TABLE table_name ADD
partition_spec [ LOCATION 'location1' ]
partition_spec [ LOCATION 'location2' ] ...
ALTER TABLE day_table ADD
PARTITION (dt='2008-08-08', hour='08')
location '/path/pv1.txt'
删除分区语法:ALTER TABLE table_name DROP
partition_spec, partition_spec,...
用户可以用 ALTER TABLE DROP PARTITION 来删除分区。分区的元数据和数据将被一并删除。例:
ALTER TABLE day_hour_table DROP PARTITION (dt='2008-08-08', hour='09');数据加载进分区表中语法:
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]例:
LOAD DATA INPATH '/user/pv.txt' INTO TABLE day_hour_table PARTITION(dt='2008-08- 08', hour='08'); LOAD DATA local INPATH '/user/hua/*' INTO TABLE day_hour partition(dt='2010-07- 07');当数据被加载至表中时,不会对数据进行任何转换。Load操作只是将数据复制至Hive表对应的位置。数据加载时在表下自动创建一个目录基于分区的查询的语句:SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';
查看分区语句:
hive> show partitions day_hour_table; OK dt=2008-08-08/hour=08 dt=2008-08-08/hour=09 dt=2008-08-09/hour=09- hive表分区
- Hive表分区
- Hive表分区操作
- hive表分区
- Hive操作表分区
- hive表分区
- Hive 表分区
- hive修改 表/分区语句
- hive外部表及分区
- Hive创建表和分区
- 改变Hive 表的分区
- hive修改 表/分区语句
- 修改hive表分区名称
- hive修改 表/分区语句
- hive 修改表/分区语句
- 获取hive表最新分区
- 批量删除hive表分区
- hive 分区
- 比较JSF、Spring MVC、Stripes、Struts 2、 Tapestry、Wicket
- zoj Heavy Cargo
- mysql优化实例
- 实体关系的定义
- "make: *** [out/target/common/obj/PACKAGING/checkapi-current-timestamp] 错误 38" 问题解决
- Hive表分区
- POJ2007 凸包计算
- iBatis 到 MyBatis区别
- 实体关系的使用
- S-Record格式详解
- 对于VS里面的几个插件的最初认识
- VS2010 关于CDockablePane 关闭事件
- Memcached高速缓存服务器部署及应用(一、Memcached在Windows平台下安装与配置)
- 天气预报的Ajax效果