hive动态分区

来源：互联网发布：手机域名注册有什么用编辑：程序博客网时间：2024/05/19 03:28

在hive中，有时候会希望根据输入的key，把结果自动输出到不同的目录中，这可以通过动态分区来实现，就是把每一个key当作一个分区，代码示例如下：

set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.dynamic.partitions.pernode=50000;set hive.exec.dynamic.partitions.partitions=50000;set hive.exec.max.created.files=500000;set mapred.reduce.tasks =20000;set hive.merge.mapfiles=true;drop table itemset;create table itemset(auctions string)partitioned by (category_id string)row format delimitedfields terminated by '\t'stored as textfilelocation '/data/itemset';insert overwrite table itemset partition(category_id)select auctions, category_id from source_table distribute by category_id;

注意首先需要在hive语句中设置允许动态分区。即：

set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;

但是这还不够，在动态分区有可能很大的情况下，还需要其他的调整：

hive.exec.dynamic.partitions.pernode 参数指的是每个节点上能够生成的最大分区，这个在最坏情况下应该是跟最大分区一样的值

hive.exec.dynamic.partitions.partitions 参数指的是总共的最大的动态分区数

hive.exec.max.created.files 参数指的是能够创建的最多文件数（分区一多，文件必然就多了...）

最后要注意的是select语句中要把distribute的key也select出来

参考：https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert