Sqoop从mysql抽取数据到hive中

来源:互联网 发布:德国面包 知乎 编辑:程序博客网 时间:2024/05/17 10:38

应用场景

当我们部署搭建完sqoop后,之前的数据都放到了mysql中,现在我们需要把mysql中的数据抽取到hive中,那通过sqoop该如何操作呢?

操作步骤

1. 准备mysql上需要抽取的数据

比如test库中的test表

这里写图片描述

2. 在主节点连接hive,并在其中创建库名【以test举例】

这里写图片描述

3. 在namenode节点运行sqoop命令进行导入

 # sqoop import --connect jdbc:mysql://192.168.210.70:3306/test?characterEncoding=UTF-8 --table test --username root -password 11111 --fields-terminated-by ',' --hive-import --hive-database test  -m 1

这里写图片描述

这里写图片描述

4. 结果验证

这里写图片描述