hive动态分区
来源:互联网 发布:哪的java培训学校好 编辑:程序博客网 时间:2024/05/19 02:30
不需要为不同的分区添加不同的插入语句
分区不确定,需要从数据中获取
几个参数:
set hive.exec.dynamic.partition=true//使用动态分区set hive.exec.dynamic.partition.mode=nonstrick//无限制模式,如果模式是strict,则必须有一个静态分区,切放在最前面set hive.exec.max.dynamic.partitions.pernode=10000//每个节点生成动态分区的最大个数set hive.exec.max.dynamic.partitions=100000//生成动态分区的最大个数set hive.exec.max.created.files=150000//一个任务最多可以创建的文件数目set dfs.datanode.max.xcievres=9182//限定一次最多打开的文件数
create table d_part( name string)partitioned by (value string)row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrick;insert overwrite table d_part partition(value)select name,addr as value from somtable;
将addr作为分区字段插入
多个字段分区
create table d_part( name string)partitioned by (month string,day string)row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;
有静态分区,静态分区放在前面
0 0
- Hive 动态分区 & 静态分区
- hive动态分区
- Hive动态分区
- Hive动态分区
- HIVE动态分区实战
- Hive动态分区
- Hive动态分区
- hive 动态分区
- 05-Hive动态分区
- hive动态分区
- Hive动态分区
- hive动态分区
- Hive动态分区
- hive 动态分区使用
- Hive动态分区配置
- hive实战---动态分区
- Hive动态分区
- hive 动态分区
- ztree的使用
- org.springframework.beans.factory.BeanCreationException:。。。FactoryBean which is currently in creatio
- 常见异常
- liunx下tar的使用
- ElasticSearch位置搜索
- hive动态分区
- 微信开放平台创建应用时应用官网的问题
- 去重
- HDU 1081(组大矩阵)
- Busybox 简介
- 2016多校训练Contest10: 1003 Captain is coding hdu5859
- Java中的Http连接
- VGG:Very Deep Convolutional Networks for Large-Scale Image Recognition阅读笔记
- 谷歌文档部分翻译:JUnit4 Rules with the ATSL