sqoop工具操作

来源：互联网发布：电商美工是干什么的编辑：程序博客网时间：2024/05/15 03:57

拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里

启动HDFS集群，zookeeper集群，yarn运算

打开操作的数据库sqlyog，连接到hadoop机器1

新创建个test数据库

在test库中创建个student，添加属性 sid，sname，gender，age

开启hive

Hive数据也存在于HDFS集群中

hive>create table student(sid int,sname string,gender string,age int)

>row format delimited fields terminated by ‘,’;

Timetaken:0.322 seconds

克隆回话hadoop01

配置下环境变量;sudo vi /etc/profile

添加：

然后wq保存，生效：source /etc/profile

验证：sqoop version 会出来版本号

我们需要把hive中的表删除drop table student，然后

输入：

sqoop import --connect jdbc:mysql://hadoop01:3306/qingmang --username root --password 123456 --table student --target-dir /user/hive/warehouse/qingmang.db/student --m 1 --fields-terminated-by ','

我们在windows集群界面就可以看到

先导入数据，在建立表

命令参考：

sqoop import --connect jdbc:mysql://hadoop01:3306/qingmang --username root --password 123456 --table student --target-dir /user/hive/warehouse/qingmang.db/student --m 1 --fields-terminated-by ','

要求表不存在
sqoop export \
--connect jdbc:mysql://hadoop01:3306/qingmang \
--username root \
--password 123456 \
--table mark \
--export-dir /user/hive/warehouse/qingmang.db/mark/ \
--fields-terminated-by ','

倒数第二行注意路径！！！

0 0