【hive】使用load inpath导入数据时出现NULL原因解析

来源:互联网 发布:工程预决算软件 编辑:程序博客网 时间:2024/06/03 13:58

在把hdfs上数据迁移到hive中的表时,若出现数据位NULL,是因为没有指定列分隔符。

由于hive默认的分隔符是/u0001(Ctrl+A),为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:

[sql] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. hive (default)> create external table et (time BIGINT, userid string, content string, urlrank int, urlnum int, url string)  
  2.               > partitioned by (filenum int)   
  3.               > row format delimited fields terminated by '\t';

上面创建的是外部表,“导入”数据时可以用load:

[sql] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. load data local inpath '/input/SogouQueryLog/file1'overwrite table et partition (filenum=1);

但若不想进行移动数据,就用命令alter来进行指向:

[sql] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. alter table et add partition (filenum=1) location '/input/SogouQueryLog/file1';

注意location后面跟的地址必须是个目录,若不是,可以用hdfs fs -mv src dest 进行移动数据:

[sql] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. hadoop fs -mv /input/SogouQueryLog/querylog_1 /input/SogouQueryLog/file1
0 0
原创粉丝点击