Sqoop导入数据

1）导入 MySQL -> HDFS

(1) 全表导入

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123 \

--table  user \

--target-dir /input/import \

--num-mappers 1 \

--fields-terminated-by ","

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

-P \                              //不使用明文指定数据库连接密码

--table  user \

--target-dir /input/import \      //指定数据导入到HDFS上的目录  

--delete-target-dir \        //如果目标目录已存在，则先删除

-m 1 \         //指定使用导入数据的map个数

--fields-terminated-by ","    //目标文件的分隔符

(2) query，where子句必须有$CONDITONS(固定写法)  查询导入方式

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

-P \

--query 'select id,account from user where account="fff" and  $CONDITIONS' \

--target-dir /input/query \

-m 1 \

--delete-target-dir \

--fields-terminated-by  "\t”

(3)增量导入

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123  \

--table  user \

--target-dir /input/append \

-m 1 \

--fields-terminated-by  " " \

--check-column id \

--incremental append \

--last-value 2

**注意:

incremental append和-delete-target-dir不能一起用

2)MySQL -> Hive

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123 \

--table  user \

-m 1 \

--delete-target-dir \

--fields-terminated-by  "\t" \

--hive-import \                 //导入表到hive(使用默认的分隔符如果没有设置)。

--hive-overwrite \            //如果hive存在表，就里覆盖现有的数据表。

--hive-database db01 \  

--hive-table user