sqoops数据的导入导出

来源：互联网发布：手机短信推广软件下载编辑：程序博客网时间：2024/05/17 21:46

SQOOP是用于对数据进行导入导出的。

(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.把数据从mysql导入到hdfs(默认是/user/<username>)中

sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import

sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6

2.把数据从hdfs导出到mysql中

sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'

3.设置为作业，运行作业

sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import

4. 导入导出的事务是以Mapper任务为单位。

-----------------------------------------------------------------------------------------

1.把数据从mysql导入到hdfs(默认是/user/<username>)中

sqoop import --connect jdbc:mysql://hadoop0:3306/test --username root --password root --table user --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import

2.把数据从hdfs导出到mysql中

sqoop export --connect jdbc:mysql://hadoop0:3306/test --username root --password root --table user2 --fields-terminated-by '\t' --export-dir '/hive/user'

3.设置为作业，运行作业

sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/test --username root --password root --table user --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import

4.查看job

sqoop job --list

5.执行job

sqoop job --exec myjob

6.删除job

sqoop job --delete myjob

Sqoop的安装与使用

Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图

以下操作就是使用sqoop在mysql和hdfs之间转换数据。

1.安装

我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。

首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置环境变量SQOOP_HOME。

把mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下。

2.重命名配置文件

在${SQOOP_HOME}/conf中执行命令

mv  sqoop-env-template.sh  sqoop-env.sh

在conf目录下，有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的，不必在意，我们只关心sqoop-site.xml即可。

3.修改配置文件sqoop-env.sh

内容如下

#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/usr/local/hadoop/#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/usr/local/hadoop#set the path to where bin/hbase is availableexport HBASE_HOME=/usr/local/hbase#Set the path to where bin/hive is availableexport HIVE_HOME=/usr/local/hive#Set the path for where zookeper config dir isexport ZOOCFGDIR=/usr/local/zk

好了，搞定了，下面就可以运行了。

4.把数据从mysql导入到hdfs中

在mysql中数据库test中有一张表是aa，表中的数据如下图所示

现在我们要做的是把aa中的数据导入到hdfs中，执行命令如下

sqoop ##sqoop命令

import ##表示导入

--connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc，连接mysql的url

--username root ##连接mysql的用户名

--password admin ##连接mysql的密码

--table aa ##从mysql导出的表名称

--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符

-m 1 ##复制过程使用1个map作业

以上的命令中后面的##部分是注释，执行的时候需要删掉；另外，命令的所有内容不能换行，只能一行才能执行。以下操作类似。

该命令执行结束后，观察hdfs的目录/user/{USER_NAME}，下面会有一个文件夹是aa，里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容，字段之间是使用制表符分割的。

5.把数据从hdfs导出到mysql中

把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段，使用制表符分隔的。那么，我们现在数据库test中创建一个数据表叫做bb，里面有两个字段。然后执行下面的命令

sqoop

export ##表示数据从hive复制到mysql中

--connect jdbc:mysql://192.168.1.113:3306/test

--username root

--password admin

--table bb ##mysql中的表，即将被导入的表名称

--export-dir '/user/root/aa/part-m-00000' ##hive中被导出的文件

--fields-terminated-by '\t' ##hive中被导出的文件字段的分隔符

命令执行完后，再去观察表bb中的数据，是不是已经存在了！

sqoop就是一个数据转换工具，明白了吧！

参考连接：http://www.superwu.cn/2013/08/12/444/

sqoop测试Mysql数据库的使用

测试Mysql数据库的使用

前提：导入mysql jdbc的jar包

① 测试数据库连接

sqoop list-databases–connect jdbc:mysql://192.168.10.63 –username root–password 123456

②Sqoop的使用

以下所有的命令每行之后都存在一个空格，不要忘记
（以下6中命令都没有进行过成功测试）

<1>mysql–>hdfs
sqoop export –connect
jdbc:mysql://192.168.10.63/ipj
–username root
–password 123456
–table ipj_flow_user
–export-dir hdfs://192.168.10.63:8020/user/flow/part-m-00000
前提：
(1)hdfs中目录/user/flow/part-m-00000必须存在
(2)如果集群设置了压缩方式lzo，那么本机必须得安装且配置成功lzo
(3)hadoop集群中每个节点都要有对mysql的操作权限

<2>hdfs–>mysql
sqoop import –connect
jdbc:mysql://192.168.10.63/ipj
–table ipj_flow_user

<3>mysql–>hbase
sqoop import –connect
jdbc:mysql://192.168.10.63/ipj
–table ipj_flow_user
–hbase-table ipj_statics_test
–hbase-create-table
–hbase-row-key id
–column-family imei

<4>hbase–>mysql
关于将Hbase的数据导入到mysql里，Sqoop并不是直接支持的，一般采用如下3种方法：
第一种：将Hbase数据扁平化成HDFS文件，然后再由Sqoop导入.
第二种：将Hbase数据导入Hive表中，然后再导入mysql。
第三种：直接使用Hbase的Java API读取表数据，直接向mysql导入
不需要使用Sqoop。

<5>mysql–>hive
sqoop import –connect
jdbc:mysql://192.168.10.63/ipj
–table hive_table_test
–hive-import
–hive-table hive_test_table 或–create-hive-tablehive_test_table

<6>hive–>mysql
sqoop export –connect
jdbc:mysql://192.168.10.63/ipj
–username hive
–password 123456
–table target_table
–export-dir /user/hive/warehouse/uv/dt=mytable
前提：mysql中表必须存在

③ Sqoop其他操作
<1>列出mysql中的所有数据库
sqoop list-databases –connect jdbc:mysql://192.168.10.63:3306/ –usernameroot–password 123456
<2>列出mysql中某个库下所有表
sqoop list-tables –connect jdbc:mysql://192.168.10.63:3306/ipj –usernameroot–password 123456

参考连接：http://www.superwu.cn/2015/06/16/2905/

sqoop测试oracle数据库的连接使用

参考连接：http://www.superwu.cn/2015/06/12/2852/

0 0