hive向动态分区插入数据
来源:互联网 发布:都市古玩淘宝赌石小说 编辑:程序博客网 时间:2024/05/22 23:30
向一个定义了分区的空表中插入数据,命令如下:
insert overwrite table t_namepartition (par_1)select t1.field1 as field1, t1.field2 as field2, t1.field3 as par_1from (select * from t3 where par_2=value2) t1 where t1.field1 not in (select field1from t2) ;
结果如下错误:
大概的意思是,在动态分区‘strict’模式下至少需要有一个’strict’列,可以通过设置hive.exec.dynamic.partition.mode=nonstrict来关闭’strict’模式。
至少需要一个’strict’分区列是指至少有一个分区列有至少一个值。
做如下设置:
set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions.pernode=1000;
运行成功。
set hive.exec.dynamic.partition.mode的设置貌似是一次性的,我自己使用的结果是设置完,跑一次插入之后,下一次对新的空动态分区表做插入,又报同样的错误,又设置一次之后,运行成功。
需要注意的是,系统自动将最后partition后的select中的最后n个字段作为n个分区列的值。
阅读全文
0 0
- hive向动态分区插入数据
- Hive动态分区与建表、插入数据操作
- hive动态分区插入实验
- HIVE的动态分区插入
- hive 分区partition表 创建 数据导入(动态分区插入、静态分区插入、动静态混合插入)
- Hive编程指南---动态分区插入
- hive从查询中获取数据插入到表或动态分区
- hive按当天日期建立分区表 | 动态往日期分区插入数据
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- Hive通过动态分区装载数据
- Hive 视图 索引 动态分区装载数据
- Hive通过动态分区装载数据
- hive导入CSV数据,使用动态分区重新分区
- Weblogic部署项目三种方式
- xlistview 上下拉加载代码
- 分布式中hash取模算法中的问题
- java中小数的处理:高精度运算用bigDecimal类,精度保留方法,即舍入方式的指定
- php.ini配置(上传文件大小限制)
- hive向动态分区插入数据
- Java 练习计算圆周长和面积
- Linux 7.3 Tomcat 8 JDK8 启动卡住半天才能正常启动解决方案
- RHCS红帽集群套件
- 一位资深程序员大牛给予Java初学者的学习路线建议
- 解决composer下载yii2没有vendor文件夹问题
- js创建ue编辑器编辑后台
- keil代码连接地址修改
- 【深度学习】入门理解ResNet和他的小姨子们(三)---ResNeXt