Hive动态分区&Partition中跟函数
来源:互联网 发布:婴儿学说话软件 编辑:程序博客网 时间:2024/05/01 14:04
一、前段时间因为导表需求(从一张表中查找出数据,按日期分区overwrite 到指定分区表中),在Hive里面研究了一下自动分区。
步骤:
1、建好所需分区表
2、设置分区参数
1
2
3
4
set
hive.
exec
.
dynamic
.partition=
true
;(可通过这个语句查看:
set
hive.
exec
.
dynamic
.partition;)
set
hive.
exec
.
dynamic
.partition.mode=nonstrict;
SET
hive.
exec
.
max
.
dynamic
.partitions=100000;(如果自动分区数大于这个参数,将会报错)
SET
hive.
exec
.
max
.
dynamic
.partitions.pernode=100000;
3、书写代码(特别注意:日期字段一定要放在末尾),例如:
1
2
3
4
5
6
7
INSERT
OVERWRITE
TABLE
dw_stage.ds_info_msg partition(cal_dt)
select
id
,...
,pv
,0 uv
,cal_dt
from
dw_stage.tiny_info_msg
二、如果要在partition字段用函数处理也可通过通过这种方式实现;例如:
1
2
3
4
5
6
7
8
set
hive.
exec
.
dynamic
.partition=
true
;
set
hive.
exec
.
dynamic
.partition.mode=nostrick;
INSERT
OVERWRITE
TABLE
dw_stage.ds_info_msg partition(cal_dt)
SELECT
id
,...
,pv
,date_sub(
'2014-03-23'
,7) cal_dt
FROM
dw_stage.tiny_info_msg07;
0 0
- Hive动态分区&Partition中跟函数
- Hive动态分区&Partition中跟函数
- hive 动态分区(Dynamic Partition)异常处理
- hive partition ||| hive分区
- Hive分区partition详解
- hive分区partition(动态和静态分区混合使用; partition的简介)
- hive partition 动态分区时字符乱码,无法删除
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
- hive 分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive分区(partition)简介
- hive partition 分区详解一
- hive partition 分区详解二
- hive分区(partition)简介
- 友商害我差点开除一个工程师
- 安装fcitx五笔拼音
- 【面试题】之数据结构目录
- PythonInstaller2.1打包单个exe遇到的问题,留个记录
- 从一道面试题来认识java类加载时机与过程
- Hive动态分区&Partition中跟函数
- 最小生成树 Kruskal算法
- 用户行为分析之数据采集【怎么在不影响网站访问效率的基础上,记录用户的历史行为】
- UE4学习笔记21th
- 约瑟夫环(求助C语言高手)
- 轻松搞定面试中的二叉树题目
- Linux find 命令
- UVM学习笔记(1) 初识UVM框架
- UE4学习笔记22th