hive表分区
来源:互联网 发布:star discover算法 编辑:程序博客网 时间:2024/06/05 18:10
文章来源:http://blackproof.iteye.com/blog/1797937
HIVE 第三章 表分区
3.表篇分区
不用于关系数据库partition中的字段可以不再table中,但是partition中的字段可以如同table中column一样使用这样可以加快查询速度,因为只用查找一个目下文件就可以了这里分区分为单分区partition一个column,多分区partition多个column单分区就一个目录,多分区也是一个目录,并嵌套多个目录
实例:按照 country 和 state 给employee多分区
CREATE TABLE employees (
name STRING,
salary FLOAT,
subordinates ARRAY<STRING>,
deductions MAP<STRING, FLOAT>,
address STRUCT<street:STRING, city:STRING, state:STRING, zip:INT>
)
PARTITIONED BY (country STRING, state STRING);
查看partition
show partitions employees;
SHOW PARTITIONS employees PARTITION(country='US');
添加partition(不区分大小写)
alter table employees add partition(country='US',state='dallas')
alter table employees add partition(country='US',state='dallas') location '/home/hadoop/us-dallas'
alter table employees add partition(country='US',state='dallas') location '/home/hadoop/us-dallas' partition(country='US',state='ca') location '/home/hadoop/us-dallas'
删除partition,分区数据和元数据都被删除
alter table employees drop partition(country='us',state='dallas');
向分区中添加数据
load data inpath '/home/hadoop/resource/dallas' into table employees partition(country='us',state='dallas');
分区的属性
set hive.mapred.mode=strict;属性禁止没有where的语句执行在partition的table上(防止数据量巨大得table,执行这样没有限制的语句)
set hive.mapred.mode=nonstrict;
- hive表分区
- Hive表分区
- Hive表分区操作
- hive表分区
- Hive操作表分区
- hive表分区
- Hive 表分区
- hive修改 表/分区语句
- hive外部表及分区
- Hive创建表和分区
- 改变Hive 表的分区
- hive修改 表/分区语句
- 修改hive表分区名称
- hive修改 表/分区语句
- hive 修改表/分区语句
- 获取hive表最新分区
- 批量删除hive表分区
- hive 分区
- hive各种join(leftouterjoin、join、fullouterjoin)
- hive row_number()内置函数使用例子
- hive union all 使用
- manjaro中okular中的pdf文件无法显示中文
- GCD详解及实现- 常用API
- hive表分区
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive-列转行和行转列
- Elasticsearch Cheat Sheet
- IBM的云平台Bluemix使用初体验——创建Go语言 Web 应用程序,添加并使用语言翻译服务
- 什么是特征向量,特征值,矩阵分解
- CSS里的各种水平垂直居中基础写法心得
- 通过百度API回放经纬度记录的信息(DEMO)
- 简谈微信公众服务号的客服接口