Hive分区表添加分区时的注意事项
来源:互联网 发布:hedge fund数据哪里来 编辑:程序博客网 时间:2024/06/05 17:57
总的来说,Hive相当于在hadoop之上加了一个SQL语法层,它提供了客户端与接口供使用人员与hadoop间接交互,简化了hadoop的使用。它接收SQL语句,转换成MapReduce任务,供hadoop执行。而且SQL语法很规范哦,上手很简单。
其他关于使用方面的说明不再赘述,这方面的网上很多。
想记录一个很小的问题。是关于外部分区表使用相关的。
外部分区表建表语句
CREATE EXTERNAL TABLE 表名 ( 列属性等 ) PARTITION BY ( 列属性等 ) ….
需要注意的是,作为分区出现的列不可以同时出现在表明后面的区域内,否则会报出“Column repeated in partitioning columns”的错误。
还有,通常新建分区并导入数据时,是通过跑MapReduce的程序向HDFS中导入数据的,HDFS目录名就在这个时候被确定下来。相应的,就需要在表中进行“ALTER TABLE… ADD PARTITION”的操作,表中所对应分区列所对应的数据内容是在这一步确定的。路径名与“ADD PARTITION”时写的不一致时,需要格外注意。
举个例子如通常分区会使用日期和整数时间作为分区列,如果跑MapReduce时指定的路径类型是带横杠形式的,如日期和时间分别为“2016-06-09”和“14”。而“ADD PARTITION”是“20160609”和“14”。使用查询语句要将过滤条件写成与“ADD PARTITION”相同的格式,也就是后者,不带横杠的形式。否则会导致数据查询不出来。
0 0
- Hive分区表添加分区时的注意事项
- 分区表添加分区的问题
- hive 分区表使用的一些注意事项
- hive分区表几大注意事项
- Hive 修改表添加分区(add partition)和 加载数据时添加分区 的区别
- oracle自动添加分区表分区
- oracle定时添加或删除分区表的分区
- 定时添加或删除分区表分区的方法
- oracle定时添加或删除分区表的分区
- HIVE 分区表添加字段后的奇怪现象
- HIVE 分区表添加字段后的奇怪现象
- hive添加分区字段
- [陷阱]HIVE外部分区表一定要增加分区
- HIVE的分区表
- Hive的数据模型-分区表
- mysql 创建分区表注意事项,每一个唯一约束必须包含在Mysql分区表的分区键(也包括主键约束)。
- 导入作业数据集total.csv到Hive中,用日期做为分区表的分区ID
- 为ORACLE分区表添加新分区
- Oracle入门学习(4)
- colorful i106q装安卓系统
- Linux下的进程控制块—task_struct
- okhttp 使用完全解析
- SDUT 2143 图结构练习——最短路径
- Hive分区表添加分区时的注意事项
- 李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法
- TextView中ellipsize属性
- 新手向:五分钟搭建App设置页面_纯代码 + 模型思想(OC)
- JavaScript-DOM和jQuery(初级入门)
- HDU 1548 A strange lift (BFS)
- 【小技巧】文本编辑器Notepad++(v6.9)中Tab设置成4个空格
- mysql数据库创建表
- Spring Task cron的表达式