hive分桶
来源:互联网 发布:网络打印机老是脱机 编辑:程序博客网 时间:2024/05/21 22:21
hive分桶和抽样查询
1.概念
桶是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织,对列值哈希,然后除以桶的个数求余,决定将该条记录存放到哪个桶中。
物理上,一个桶就是表(或分区)目录里的一个文件。桶对应于MapReduce的输出文件分区:一个作业产生的桶(输出文件)和reduce任务个数相同
2.创建语句
create table bucketed_user(id int ,name string) clustered by (id) into 4 buckets
row format delimited fields terminated by '\t' stored as textfile;
注:使用CLUSTERED BY子句指定使用哪一个列来划分桶和要划分的桶的个数。
把文本文件load进去一个桶表需要先把这个文件数据load进去一个不分桶的表,然后再使用inset into table 桶表名;
eg:
SELECT * FROM bucketed_users TABLESAMPLE(bucket 1 out of 2 on id);
注:tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。
例如,table总共分了64份,当y=32时,抽取(64/32=)2个bucket的数据,当y=128时,抽取(64/128=)1/2个bucket的数据。
x表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,
分别为第3个bucket和第(3+16=)19个bucket的数据。
1.概念
桶是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织,对列值哈希,然后除以桶的个数求余,决定将该条记录存放到哪个桶中。
物理上,一个桶就是表(或分区)目录里的一个文件。桶对应于MapReduce的输出文件分区:一个作业产生的桶(输出文件)和reduce任务个数相同
2.创建语句
create table bucketed_user(id int ,name string) clustered by (id) into 4 buckets
row format delimited fields terminated by '\t' stored as textfile;
注:使用CLUSTERED BY子句指定使用哪一个列来划分桶和要划分的桶的个数。
把文本文件load进去一个桶表需要先把这个文件数据load进去一个不分桶的表,然后再使用inset into table 桶表名;
eg:
SELECT * FROM bucketed_users TABLESAMPLE(bucket 1 out of 2 on id);
注:tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。
例如,table总共分了64份,当y=32时,抽取(64/32=)2个bucket的数据,当y=128时,抽取(64/128=)1/2个bucket的数据。
x表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,
分别为第3个bucket和第(3+16=)19个bucket的数据。
阅读全文
0 0
- hive 分桶
- Hive-分区、分桶
- 7-hive 分桶
- hive分桶
- Hive分桶概念
- hive分桶管理
- Hive(十九)--分桶
- Hive分桶
- Hive分桶(bucket)
- hive分区与分桶
- Hive分区表与分桶
- Hive-分桶与排序
- Hive的分桶详解
- Hive分区、分桶操作及其比较
- Hive表的分区与分桶
- hive测试,分区,分桶,索引
- hive的分区和分桶
- Hive分区、分桶操作及其比较
- webpack入门指南
- 学习mybatis源码疑惑一
- 消息队列(待完善)
- 串口编程的VTIME与VMIN的配置
- VueJS--给组件绑定原生事件
- hive分桶
- frameset 框架使用 以及跨页面请求
- zstack(4.1)进程内微服务
- Hibernate注解使用方法总结
- RocketMq Exception "connect to <:10909> failed"问题--雷锋
- 'java'不是内部或外部命令解决方法
- 联想电脑装系统首次U盘启动BIOS设置
- 开发计算机系统并行性的主要技术途径
- 排序与查找实例(五):堆排序