Hive动态分区&Partition中跟函数
来源:互联网 发布:mac virtualbox u盘 编辑:程序博客网 时间:2024/05/01 06:58
https://my.oschina.net/u/239075/blog/211973
一、前段时间因为导表需求(从一张表中查找出数据,按日期分区overwrite 到指定分区表中),在Hive里面研究了一下自动分区。
步骤:
1、建好所需分区表
2、设置分区参数
set hive.exec.dynamic.partition=true;(可通过这个语句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参数,将会报错)SET hive.exec.max.dynamic.partitions.pernode=100000;
3、书写代码(特别注意:日期字段一定要放在末尾),例如:
INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt)select id ,... ,pv ,0 uv ,cal_dtfrom dw_stage.tiny_info_msg
二、如果要在partition字段用函数处理也可通过通过这种方式实现;例如:
set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nostrick;INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt)SELECT id ,... ,pv ,date_sub('2014-03-23',7) cal_dtFROM dw_stage.tiny_info_msg07;
0 0
- Hive动态分区&Partition中跟函数
- Hive动态分区&Partition中跟函数
- hive 动态分区(Dynamic Partition)异常处理
- hive partition ||| hive分区
- Hive分区partition详解
- hive分区partition(动态和静态分区混合使用; partition的简介)
- hive partition 动态分区时字符乱码,无法删除
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive 分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive partition 分区详解一
- hive partition 分区详解二
- hive分区(partition)简介
- Retrofit2实现App自动更新
- mac SVN命令使用详解
- HDU ACM 11 2097 Sky数
- JavaScript中的原型
- DirectX学习--1
- Hive动态分区&Partition中跟函数
- 论JS闭包
- "The requested profile "pom.xml" could not be activated because it does not exist."
- Java 单例模式的八种写法比较
- AndroidStudio 如何关闭 Install Run
- 安装widows mysql 免安装版(zip) 步骤详解 以及遇到问题解决 以及忘记密码的修改方法
- java中通过web service的方式传输文件
- HDU ACM 11 2096 小明A + B
- 第11周项目1 -二叉树算法验证(3)中序线索化二叉树的算法验证