Hadoop入门之Hive的DDL和DML
来源:互联网 发布:mac os 9.2弹出u盘 编辑:程序博客网 时间:2024/06/09 18:49
1.Hive的表创建(分区,分桶)
创建表SQL
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
1.1创建一个普通的表每个字段以 , 为分割方式
drop table my_one_table;
create table my_one_table
(id int,name string)
row format delimited fields terminated by ',' stored as textfile;
1.2 创建一个外部表
create external table my_two_table
(id int,name string)
row format delimited fields terminated by ','
location 'hdfs://hadoop5:9000/test/hive/onedb/';
(就是将文件放在你指定的目录位置)
1.3创建一个分区表
create table my_three_table
(id int,name string)
partitioned by (part string)
row format delimited fields terminated by ','
stored as textfile;
(分区字段要未被定义过,形式上来说,就是创建了一个子目录而已,加载时加载到指定目录)
load data local inpath '/home/hadoop/local_data/china' overwrite
into table my_three_table partition (part='China');
load data local inpath '/home/hadoop/local_data/usa' overwrite
into table my_three_table partition (part='usa');
show partitions my_three_table;
1.4 带桶的表的创建语句
create table my_four_table
(id int,age int,name string)
partitioned by (stat_data string)
clustered by(id) sorted by (age) into 2 buckets
row format delimited fields terminated by ','
stored as textfile;
这个一般是作为MR结果输出表来创建的.
2.Hive的DML操作
1.Load操作
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
说明:
1、 Load 操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置。
2、 filepath:
相对路径,例如:project/data1
绝对路径,例如:/user/hive/project/data1
包含模式的完整 URI,列如:
hdfs://namenode:9000/user/hive/project/data1
3、 LOCAL关键字
如果指定了 LOCAL, load 命令会去查找本地文件系统中的 filepath。
如果没有指定 LOCAL 关键字,则根据inpath中的uri 查找文件
4、 OVERWRITE 关键字
如果使用了 OVERWRITE 关键字,则目标表(或者分区)中的内容会被删除,然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
如果目标表(分区)已经有一个文件,并且文件名和 filepath 中的文件名冲突,那么现有的文件会被新文件所替代。
2.Insert 操作
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement
Multiple inserts:
FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...
Dynamic partition inserts:
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement
3.Select基本操作
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list [HAVING condition]]
[CLUSTER BY col_list
| [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]
]
[LIMIT number]
注:1、order by 会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
2、sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reducer的输出有序,不保证全局有序。
3、distribute by根据distribute by指定的内容将数据分到同一个reducer。
4、Cluster by 除了具有Distribute by的功能外,还会对该字段进行排序。因此,常常认为cluster by = distribute by + sort by
阅读全文
0 0
- Hadoop入门之Hive的DDL和DML
- Hive的数据类型、DDL和DML
- Hive的DDL和DML操作
- Hive 5、Hive 的数据类型 和 DDL Data Definition Language) Hive DML(Data Manipulation Language)
- 05-hive-DDL&DML
- sql 的ddl和dml
- DDL和DML 的区别
- Oracle之DML和DDL语句
- SQL语法之DDL和DML
- 数据库之DDL,DML和DCL
- SQL语句之DDL和DML
- DDL和DML的定义和区别
- DDL和DML的定义和区别
- DDL和DML的定义和区别
- DDL和DML的定义和区别
- DDL和DML的定义和区别
- Hadoop入门之Hive的安装和连接
- 数据库的DML和DDL简述
- PHP与MYSQL事务处理
- tensorflow学习——tf.train.Supervisor()与tf.train.saver()
- C++ 字符串长度
- 边缘计算
- Opengl绘制地图
- Hadoop入门之Hive的DDL和DML
- Putty简介
- Numeric overflow in expression 提示溢出
- jvm使用
- 文件的压缩和解压(java工具类)
- Android签名打包上架应用包市场
- Android MVP 概述:MVP的组件介绍
- 怎样实现前端裁剪上传图片功能
- UOJ 261 [NOIP2016 DAY1 T2] 浅谈树上路径统计问题桶解法