sqoop安装，使用流程

需要交流请进群-- 494831900 --我和群中朋友会及时回答

1.安装

我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。


首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置环境变量SQOOP_HOME。


把mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下。


2.重命名配置文件
在${SQOOP_HOME}/conf中执行命令


mv  sqoop-env-template.sh  sqoop-env.sh
在conf目录下，有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的，不必在意，我们只关心sqoop-site.xml即可。


3.修改配置文件sqoop-env.sh
内容如下




#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop/ 


#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop


#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/hbase


#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive


#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/zk
好了，搞定了，下面就可以运行了。


4.把数据从mysql导入到hdfs中
在mysql中数据库test中有一张表是aa，表中的数据如下图所示


image


现在我们要做的是把aa中的数据导入到hdfs中，执行命令如下


 


sqoop ##sqoop命令


import ##表示导入


--connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc，连接mysql的url


--username root ##连接mysql的用户名


--password admin ##连接mysql的密码


--table aa ##从mysql导出的表名称


--fields-terminated-by 't' ##指定输出文件中的行的字段分隔符


-m 1 ##复制过程使用1个map作业


以上的命令中后面的##部分是注释，执行的时候需要删掉；另外，命令的所有内容不能换行，只能一行才能执行。以下操作类似。


该命令执行结束后，观察hdfs的目录/user/{USER_NAME}，下面会有一个文件夹是aa，里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容，字段之间是使用制表符分割的。


5.把数据从hdfs导出到mysql中
把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段，使用制表符分隔的。那么，我们现在数据库test中创建一个数据表叫做bb，里面有两个字段。然后执行下面的命令


 


sqoop


export ##表示数据从hive复制到mysql中


--connect jdbc:mysql://192.168.1.113:3306/test


--username root


--password admin


--table bb ##mysql中的表，即将被导入的表名称


--export-dir '/user/root/aa/part-m-00000' ##hive中被导出的文件


--fields-terminated-by 't' ##hive中被导出的文件字段的分隔符


命令执行完后，再去观察表bb中的数据，是不是已经存在了！


sqoop就是一个数据转换工具，明白了吧！




6：把mysql中的数据到如到hive中 和把hive中的数据导入到mysql中
将关系型数据的表结构复制到hive中-->仅仅复制表结构
 sqoop create-hive-table --connect jdbc:mysql://192.168.1.4:3306/radius2 --table nyyd_user --username root --password wckj123456 --hive-table user
 从关系数据库导入文件到hive中-->复制表结构同时也复制数据
sqoop import --connect jdbc:mysql://192.168.1.4:3306/radius2  --username root --password wckj123456 --table nyyd_user --hive-import
7：把hive中的数据到入到 mysql中
sqoop export --connect jdbc:mysql://192.168.1.4:3306/radius2 --username root --password wckj123456 --table userbak --export-dir /user/hive/warehouse/nbyd_user --input-fields-terminated-by '\001'
此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。
hive默认的字段分隔符为'\001'


sqoop：MySQL导入HBase命令：
sqoop import --connect jdbc:mysql://192.168.1.4:3306/radius2 --table nbyd_user --hbase-table nbyd_user --column-family user --hbase-row-key id --hbase-create-table --username root -password wckj123456


--connect jdbc:mysql://10.10.97.116:3306/rsearch 表示远程或者本地 Mysql 服务的URI，3306是Mysql默认监听端口，rsearch是数据库，若是其他数据库，如Oracle,只需修改URI即可。
--table researchers  表示导出rsearch数据库的researchers表。
--hbase-table A  表示在HBase中建立表A。
--column-family person 表示在表A中建立列族person。
--hbase-row-key id  表示表A的row-key是researchers表的id字段。
--hbase-create-table 表示在HBase中建立表。
--username 'root' 表示使用用户root连接Mysql


hbase 导入数据到 mysql中
sqoop import --connect jdbc:mysql://10.10.97.116:3306/rsearch --table researchers --hbase-table A --column-family person --hbase-row-key id --hbase-create-table --username root -password wckj123456