Hive 分桶表

简介

本文主要介绍了Hive中分桶表的使用及作用

分桶和分区

分区提供了一个隔离数据和优化查询的便利的方式.但是当分区的数量过多时，会产生过多的小分区,这样会给namenode带来较大的压力.分桶试讲数据集分解成更容易管理的若干部分的另一个技术.

使用

我们先准备我们将使用的分桶表的数据.

1,jack,2016/11/112,michael,2016/11/123,summer,2016/11/134,spring,2016/11/145,nero,2016/11/156,book,2016/12/217,node,2016/12/228,tony,2016/12/239,green,2016/12/2410,andy,2016/12/2511,kaith,2016/12/2612,spring,2016/12/2713,andy,2016/12/2814,tony,2016/12/2915,green,2016/12/3016,andy,2016/12/3117,kaith,2017/1/118,xiaoming,2017/1/2

如上所示，这是一张顾客信息表,3个字段分别代表顾客的id,name,birthday

创建桶表

桶表的建表语法和普通表类似,但是需要制定分桶的规则和桶的个数.

create table t_bucket(id int,name string,birthday string)clustered by (id) into 4 bucketsrow format delimited fields terminated by ',';

我们设定桶表按照id进行分桶,桶内数据按照id进行排序.注意这里的建表语句只是告诉hive,t_bucket这张表是应该按照这种方式去存储,但是并不会在插入数据时帮我们去分桶存储.我们来做个试验：
我们将上面准备好的数据插入t_bucket表

load data local inpath '/home/spark/jar/testdata/Customer.txt' into table t_bucket;

然后我们到hdfs的目录去查看,发现并没有安装我们预先设计的方式去存储数据,数据文件个数为一个;

hive (test_neil)> dfs -ls /user/hive/warehouse/test_neil.db/t_bucket;Found 1 items-rwxr-xr-x   1 root staff        364 2017-02-05 12:44 /user/hive/warehouse/test_neil.db/t_bucket/Customer.txt

事实上hive采用的为读时模式,他并不会去判断插入表的数据是否符合元数据的信息.因为我们使用load插入数据并不会产生reduce,数据量较小,只生成了一个数据文件，因此这并不是一个分桶表.一般我们并不采用load的方式去加载数据到bucket表，我们采用insert的方式,使用select将数据变成我们分桶指定的模式.

正确的load方式

首先我们把数据导入另外一张表中

create table t_temp(id int,name string,birthday string)row format delimited fields terminated by ',';load data local inpath 'home/spark/jar/testdata/Customer.txt' into table t_temp;

在我们导入数据前，需要将hive.enforce.bucketing的值设置为true,

set hive.enforce.bucketing = true

这个参数将强制控制ruduce的个数去和我们指定的分桶个数相适配.

将t_bucket表truncate掉,再次导入数据

truncate table t_bucket;insert into table t_bucketselect id,name,birthdayfrom t_tempcluster by id;

在job执行的log中，我们可以看到最终分桶的情况:

Loading data to table test_neil.t_bucketTable test_neil.t_bucket stats: [numFiles=4, numRows=18, totalSize=346, rawDataSize=328]

我们再次去查看t_bucket表的目录发现，这张表的数据已经被分成了四份,这样我们便成功的将文件进行了分桶的操作;

hive (test_neil)> dfs -ls /user/hive/warehouse/test_neil.db/t_bucket;Found 4 items-rwxr-xr-x   1 root staff         78 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000000_0-rwxr-xr-x   1 root staff         92 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000001_0-rwxr-xr-x   1 root staff         98 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000002_0-rwxr-xr-x   1 root staff         78 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000003_0

我们去查看文件的内容:

dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000000_0;dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000001_0;dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000002_0;dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000003_0;

结果：

4/spring/2016/11/148/tony/2016/12/2312/spring/2016/12/2716/andy/2016/12/31

1/jack/2016/11/115/nero/2016/11/159/green/2016/12/2413/andy/2016/12/2817/kaith/2017/1/1

2/michael/2016/11/126/book/2016/12/2110/andy/2016/12/2514/tony/2016/12/2918/xiaoming/2017/1/2

3/summer/2016/11/137/node/2016/12/2211/kaith/2016/12/2615/green/2016/12/30

我们可以看到，我们的客户数据被分成了四份.那么这四份是如何进行划分的呢?其实我们已经制定了按照id进行划分,因此hive使用hash散列的方式，将id个数对桶个数求余数，我们id为18个,对桶个数(4个)求余数，结果为4.这样每个桶最少有4条数据,同时这样的方式得到的桶内数据其实相当于是随机的.

cluster by和distribute by

在上面的select语句中，我们使用了cluster by语句执行分桶的方式.我们发现其实桶内的数据是按照id字段进行升序排列的.其实cluster by相当于distribute by+sort by.sort by默认按照升序进行排列.

sort by排序的为reducer内的数据，在这里就是bucket内的数据.这样数据是局部有序的,而order by是全局有序的.执行了order by,最后只能有个reduce,因为要做全局的排序.

但是呢,distribute by+sort by的组合会更加的灵活,因为我们可以去按照id分桶，按照birthday去进行排序.我们可以做如下的试验.

insert into table t_bucketselect id,name,birthdayfrom t_tempdistribute by idsort by birthday desc;

我们再去执行select,发现数据是按照id进行分桶的,但是数据的排列顺序其实是按照birthday进行降序排列的.

16  andy    2016/12/3112  spring  2016/12/278   tony    2016/12/234   spring  2016/11/1417  kaith   2017/1/113  andy    2016/12/289   green   2016/12/245   nero    2016/11/151   jack    2016/11/1118  xiaoming    2017/1/214  tony    2016/12/2910  andy    2016/12/256   book    2016/12/212   michael 2016/11/1215  green   2016/12/3011  kaith   2016/12/267   node    2016/12/223   summer  2016/11/13

分桶的好处

1.分桶加快了join查询的速度.
对于map端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的 mapper知道右边表内相匹配的行在对应的桶内。因此，mapper只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以.这样便采用了Map-side join的方式,避免全表进行笛卡尔积的操作.

**关于桶内排序的意义:
桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升map端连接的效率。**

**分桶个数:
如果两个表的分桶个数之间没有什么倍数的关系，这样分桶表在做join时并不会提升效率,因为数据随机分发,桶和桶之间并没有对应关系.**

2.使取样(sampling)更加的高效
在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便.
使用上面的t-bucket我们进行演示.
假如我们使用的为一个大规模的数据集,我们只想去抽取部分数据进行查看.使用bucket表可以变得更加的高效

select * from t_bucket tablesample(bucket 1 out of 4);select * from t_bucket tablesample(bucket 1 out of 4 on id);

这样表示我们从bucket1开始取样1个bucket的数据.

select * from t_bucket tablesample(bucket x out of y on xx);

x表示从哪个bucket进行抽样,桶计数从1开始.y用来计算抽取数据的量，计算方式为分桶数/y.假设我们一共分了128个桶,y设置为32,则表示要抽取4个bucket,如果x为12,则抽取的数据来自于12/13/14/15.y的值可以不为桶个数的公约数,可以为任意值.

参考文章

Hive 基础之：分区、桶、Sort Merge Bucket Join