hive导入和导出的几种方式

来源:互联网 发布:淘宝全球购资质查询 编辑:程序博客网 时间:2024/06/01 07:45

hive表导入方式:

1)加载本地文件到hive表

load data local inpath '本地文件路径'  into tabble 表名;

2)加载hdfs文件到hive表

load data inpath 'hdfs文件路径' [overwrite] into table 表名;

加上overwrite的话便会重写表的数据

3)加载已有数据

insert into table 表1 select另外一个表;

4)创建表时制定location

这个经常用于外部表创建。

如果是未分区的表的话,可以在创建表语句的最后加上 location 'hdfs表文件的地址';

如果是分区的表的话, location 'hdfs表文件的地址';   的路径里通过文件夹表示分区之后并不能直接将分区和这个表绑定。需要修复分区表,通过一下语句:

第一种方式:

msck repair table 表名;

第二种方式:

alter table 表名 add partition(分区字段='该分区的文件夹名');

hive表导出方式:

1)导出到本地目录

insert into local directory '本地目录' select语句;


这时会在本地目录下生成一个文件,但是如果查看文件的话,会发现文件的格式是非常乱的。

可以通过以下语句来格式化一下:

insert into local directory ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY '\n' '本地目录' select语句;

'\t'是列与列之间的分隔符
'\n' 是行与行之间的分隔符

2)导出到hdfs目录

只需要将上面的local去掉即可

其他

采用hive的-e和-f参数来导出数据。

参数为: -e 的使用方式,后面接SQL语句。>>后面为输出文件路径

hive -e "select * from testA" >> /home/hadoop/output/testA.txt  
参数为: -f 的使用方式,后面接存放sql语句的文件。>>后面为输出文件路径

hive -f /home/hadoop/output/sql.sql >> /home/hadoop/output/testB.txt