Hive学习 第四课 创建表并load 数据到表
来源:互联网 发布:股市行情分析软件 编辑:程序博客网 时间:2024/05/31 19:01
本章将介绍如何创建一个表以及如何将数据插入。创造表的约定在Hive中非常类似于使用SQL创建表。
CREATE TABLE语句
Create Table是用于在Hive中创建表的语句。语法和示例如下:
语法
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][ROW FORMAT row_format][STORED AS file_format]
示例
假设需要使用CREATE TABLE语句创建一个名为employee表。下表列出了employee表中的字段和数据类型:
下面的数据是一个注释,行格式字段,如字段终止符,行终止符,并保存的文件类型。
COMMENT ‘Employee details’FIELDS TERMINATED BY ‘\t’LINES TERMINATED BY ‘\n’STORED IN TEXT FILE
下面的查询创建使用上述数据的表名为 employee。
hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,> salary String, destination String)> COMMENT ‘Employee details’> ROW FORMAT DELIMITED> FIELDS TERMINATED BY ‘\t’> LINES TERMINATED BY ‘\n’> STORED AS TEXTFILE;
如果添加选项IF NOT EXISTS,Hive 忽略大小写,万一表已经存在的声明。
成功创建表后,能看到以下回应:
OKTime taken: 5.905 secondshive>
JDBC 程序
以下是使用JDBC程序来创建表给出的一个例子。
import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveCreateTable { private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { // Register driver and create driver instance Class.forName(driverName); // get connection Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", ""); // create statement Statement stmt = con.createStatement(); // execute statement stmt.executeQuery("CREATE TABLE IF NOT EXISTS " +" employee ( eid int, name String, " +" salary String, destignation String)" +" COMMENT ‘Employee details’" +" ROW FORMAT DELIMITED" +" FIELDS TERMINATED BY ‘\t’" +" LINES TERMINATED BY ‘\n’" +" STORED AS TEXTFILE;"); System.out.println(“ Table employee created.”); con.close(); }}
将该程序保存在一个名为HiveCreateDb.java文件。下面的命令用于编译和执行这个程序。
$ javac HiveCreateDb.java$ java HiveCreateDb
输出
Table employee created.
LOAD DATA语句
一般来说,在SQL创建表后,我们就可以使用INSERT语句插入数据。但在Hive中,可以使用LOAD DATA语句插入数据。
同时将数据插入到Hive,最好是使用LOAD DATA来存储大量记录。有两种方法用来加载数据:一种是从本地文件系统,第二种是从Hadoop文件系统。
语法
加载数据的语法如下:
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
- LOCAL是标识符指定本地路径。它是可选的。
- OVERWRITE 是可选的,覆盖表中的数据。
- PARTITION 这是可选的
示例
我们将插入下列数据到表中。在/home/user目录中名为sample.txt的文件。
1201 Gopal 45000 Technical manager1202 Manisha 45000 Proof reader1203 Masthanvali 40000 Technical writer1204 Kiran 40000 Hr Admin1205 Kranthi 30000 Op Admin
下面的查询加载给定文本插入表中。
hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt'> OVERWRITE INTO TABLE employee;
下载成功完成,能看到以下回应:
OKTime taken: 15.905 secondshive>
JDBC 程序
下面给出的是JDBC程序将给定的数据加载到表中。
import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveLoadData { private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { // Register driver and create driver instance Class.forName(driverName); // get connection Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", ""); // create statement Statement stmt = con.createStatement(); // execute statement stmt.executeQuery("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee;"); System.out.println("Load Data into employee successful"); con.close(); }}
将该程序保存在一个名为HiveLoadData.java文件。使用下面的命令来编译和执行这个程序。
$ javac HiveLoadData.java$ java HiveLoadData
输出:
Load Data into employee successful
阅读全文
0 0
- Hive学习 第四课 创建表并load 数据到表
- hadoop-hive-创建表及LOAD数据相关
- hive到hbase创建映射表以及添加数据
- 创建hive表和使用Load data指令导入数据的注意事项
- hive表数据导入到hive表
- Hive数据库创建、表创建、加载数据
- 在hive中创建表,关联到hdfs文件路径,而不需导入数据到hive表
- hive学习总结(9)—数据库创建、表创建、加载数据
- hive学习总结(9)—数据库创建、表创建、加载数据
- [Hive]使用HDFS目录数据创建Hive表分区
- hive 创建表和导入数据
- hive 表创建及数据加载
- Hive简单创建表及传入数据
- hive学习(1)---导入外部数据到hive的表中,为学习hql做准备
- Hive表数据导入到Hbase
- 数据文件数据加载到hive表
- sqoop导入导出表/数据到Hive
- 将Hive表数据导入到mysql
- html5 postMessage解决跨域和跨窗口消息传递
- js延迟加载的方式
- av_register_all()
- 获取本机ip
- 黑火药跟黄火药的区别在哪里?
- Hive学习 第四课 创建表并load 数据到表
- table合并单元格colspan和rowspan
- 解决mysql命令窗口一闪就退出了的有效方法
- jsp
- 深入理解JavaScript中call()与apply()方法
- 第一次使用php开发网站小白日记
- lintcode(588)Partition Equal Subset Sum
- jeesite框架,时间查询,前面的时间选择要小于后面的时间实现
- servlet