将本地文本文件直接导入hive(impala好像不支持)表中

来源:互联网 发布:韩信点兵的算法 编辑:程序博客网 时间:2024/05/22 08:02
跟之前一样需要对文件进行准备(可以尝试别的格式)和对应表的建立,然后在Hive CLI 上运行下面的代码:
LOAD DATA LOCAL INPATH '/home/sjz/dataclean/data/tbl_adrs_code.txt' INTO TABLE tbl_adrs_code

这里跟之前不一样的是使用了"LOCAL"这个关键字,表明接下来引用的这个路径'/home/sjz/dataclean/data/tbl_adrs_code.txt'是本地文件系统路径(建议写全路径),执行之后文件会被拷贝到目标位置tbl_adrs_code这个表中。

如果没有"LOCAL",那么接下来引用的路径应该是分布式文件系统中的路径,参见之前的文章。

还有一个不同:LOAD DATA LOCAL 是拷贝本地数据到分布式文件系统上的目标位置;LOAD DADA 是转移数据到目标位置,也就是说执行这个命令之后,HDFS上的文件就不存在了。

阅读全文
1 0
原创粉丝点击