系统学习hive programming,第五章,操作数据
来源:互联网 发布:linux复制文件夹 编辑:程序博客网 时间:2024/06/05 19:25
* Lee 2013.11.14翻译 《programming hive》 第五章节HiveQL: Queries
*/
第五章 数据操作
Hive不允许行级别操作,数据只能被批量导入。
加载数据示例:
LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country = 'US', state = 'CA');
使用查询结果插入数据示例:
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * FROM staged_employees se
WHERE se.cnty = 'US' AND se.st = 'OR';
使用OVERWRITE关键字,将覆盖表内原来数据
译注:
我做过实验, OVERWRITE关键字实质为清空HDFS上表对应的文件夹,然后建立名为000000_0
的文件,并将OVERWRITE的数据写入。
如果是用 INTO 关键字代替OVERWRITE,则不会覆盖原来表上数据
译注:
INTO关键字实质为在HDFS上表对应的文件夹,建立名为000000_0_copy_X (X为1,2,3..)
的文件,并将INTO数据写入。
将staged_employees导入employees表 示例:
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * FROM staged_employees se
WHERE se.cnty = 'US' AND se.st = 'OR';
如果需要把全美国所有的员工都导入employees表,不得不扫描staged_employees65次以覆盖所有
staged_employees分区。 Hive提供以下语法,只用扫描扫描一次。
FROM staged_employees se
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * WHERE se.cnty = 'US' AND se.st = 'OR'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'CA')
SELECT * WHERE se.cnty = 'US' AND se.st = 'CA'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'IL')
SELECT * WHERE se.cnty = 'US' AND se.st = 'IL';
根据查询语句建立表 示例:
CREATE TABLE ca_employees
AS SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
数据导出,示例:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
译注: 这个操作要非常小心,LOCAL DIRECTORY 定向的目录如果已经存在,这会发生覆盖
且没有任何提示。 Hive还是有很多不成熟的地方。我实验室不小心覆盖了自己的HADOOP_HOME.
查看导出数据
hive> ! ls /tmp/ca_employees;
000000_0
hive> ! cat /tmp/payroll/000000_0
John Doe100000.0201 San Antonio CircleMountain ViewCA94040
Mary Smith80000.01 Infinity LoopCupertinoCA95014
...
- 系统学习hive programming,第五章,操作数据
- 系统学习hive programming,第二章---使用Hive CLI命令
- 系统学习hive programming,第三章----数据类型,见表
- 系统学习hive programming,第四章----表和数据库定义
- hive学习笔记-数据操作
- hive学习笔记之-数据操作
- hadoop学习之-hive-数据操作
- Hive官方手册学习(三)Hive数据操作语言
- pro bash programming学习笔记——第五章
- 第五章 UNIX 系统操作命令
- HIVE 数据操作 DML
- hive 数据操作
- HIVE的数据操作
- mysql hive操作数据
- Hive数据操作
- hive数据操作
- Hive Cilent数据操作
- hive数据操作
- C++ new 一个对象是加括号与不加括号的区别
- android 在代码中动态设置字体颜色需要注意的问题
- C中是否有string,C++呢?
- 项目去除SVN
- Qt中验证器的使用
- 系统学习hive programming,第五章,操作数据
- Spring3.0的Junit测试
- 安卓全局变量的使用方法
- 指定形式字符串转化以及字符串编码转换
- 从零开始学WCF(8)Message类
- linux驱动程序开发环境配置
- poj 1062
- 如何编写出高效的数据库连接池(附带完整代码C#和Java实现)
- white-space