Sqoop安装与学习

Sqoop安装与学习
下载sqoop及mysqlconnector并解压
tar -zxvf sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz -C /opt/modules/
cp mysql-connector-java-5.1.37-bin.jar /opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0/lib/
修改bin目录下 configure-sqoop 文件：
注释掉hbase和 zookeeper检查，因为目前还没有启用hbase/zookeeper等hadoop上的组件
#if [ -z "${ZOOKEEPER_HOME}" ]; then
#  if [ -d "/usr/lib/zookeeper" ]; then
#    ZOOKEEPER_HOME=/usr/lib/zookeeper
#  else
#    ZOOKEEPER_HOME=${SQOOP_HOME}/../zookeeper
#  fi
#fi


export SQOOP_HOME=/opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0
export PATH=$PATH:$SQOOP_HOME/bin
环境变量生效
source /etc/profile
echo $SQOOP_HOME
cp sqoop-env-template.sh  sqoop-env.sh
修改conf配置文件sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/modules/hadoop-1.2.1


#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/modules/hadoop-1.2.1


#set the path to where bin/hbase is available
export HBASE_HOME=/opt/modules/hbase-0.98.15-hadoop1


#Set the path to where bin/hive is available
export HIVE_HOME=/opt/modules/hive-1.0.1
测试bin/
./sqoop list-databases --connect jdbc:mysql://192.168.192.129:3306/ --username root --password root
./sqoop list-databases --connect jdbc:mysql://10.0.119.91:3306/ --username root --password root
可以用sqoop help import 查看帮助信息
测试mysql导入HDFS：
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table bus --m 1 --target-dir /opt/bus/sqoop
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --fields-terminated-by ',' --m 1 --target-dir /opt/student
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --null-string '**'  -m 1  --hive-import   #--null-string '**'当字符串为空替换为**,操作默认是追加
将mysql的表导入到hive中：
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table bus --hive-import -m 1
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --hive-import -m 1
将数据从关系数据库导入文件到hive表中，--query 语句使用 (可以导入hive文件目录下,也可以直接导入hive)
./sqoop import --append --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --query "select id,name,age from student where id=7 and \$CONDITIONS"  -m 1  --target-dir /user/hive/warehouse/student --fields-terminated-by "\0001";
将数据从关系数据库导入文件到hive表中，--columns  --where 语句使用
./sqoop import --append --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --columns "id,name,age"  --where "id > 3 and (age = 2 or age = 66)"  -m 1  --target-dir /user/hive/warehouse/student --fields-terminated-by "\0001";
测试mysql导入HBase
./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --hbase-create-table --hbase-table student --column-family info
qoop ##sqoop命令解释
import ##表示导入
--connect jdbc:mysql://192.168.192.129:3306/bus  ##告诉jdbc，连接mysql的url,这个bus是数据库名
--username root ##连接mysql的用户名
--password root ##连接mysql的密码
--table bus ##从mysql导出的表名称,这个bus是表名
--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符
-m 1 ##复制过程使用1个map作业
--target-dir /opt/bus/sqoop  ##导入到的HDFS目标目录
--split-by id  ##默认是主键
--default-character-set=latin1   ##字符集
--map-column-java   转换为java数据类型
--map-column-hive   转转为hive数据类型
增量导入  增量导入模式append通过指定一个递增的列
--incremental append  --check-column num_iid  --last-value 0  满足比0大的num_iid值
--incremental append  --check-column ID --last-value 8 （ID为varchar类型的递增数字）
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00' 只导入created 比'2012-02-01 11:0:00'更大的数据。
--incremental (mode)  Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.指定如何确定哪些行。值包括追加模式和最后修改日期。
--check-column (col)  Specifies the column to be examined when determining which rows to import.指定在导入时哪个列满足某个哪个条件。
--last-value (value)  Specifies the maximum value of the check column from the previous import. 指定从先前导入的复选列的最大值
hive导入参数
　　--hive-home   重写$HIVE_HOME
　　--hive-import          插入数据到hive当中，使用hive的默认分隔符
　　--hive-overwrite  重写插入
　　--create-hive-table  建表，如果表已经存在，该操作会报错！
　　--hive-table [table]  设置到hive当中的表名
　　--hive-drop-import-delims  导入到hive时删除 \n, \r, and \01
　　--hive-delims-replacement  导入到hive时用自定义的字符替换掉 \n, \r, and \01
　　--hive-partition-key          hive分区的key
　　--hive-partition-value   hive分区的值
　　--map-column-hive           类型匹配，sql类型对应到hive类型
导入数据到hbase
　　导入的时候加上--hbase-table，它就会把内容导入到hbase当中，默认是用主键作为split列
　　也可以用--hbase-row-key来指定，列族用--column-family来指定,它不支持--direct。
　　如果不想手动建表或者列族，就用--hbase-create-table参数
以上的命令中后面的##部分是注释，执行的时候需要删掉；另外，命令的所有内容不能换行，只能一行才能执行。以下操作类似。
该命令执行结束后，观察hdfs的目录/user/{USER_NAME}，下面会有一个文件夹是aa，里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容，字段之间是使用制表符分割的。
把数据从hdfs导出到mysql中
把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段，使用制表符分隔的。那么，我们现在数据库test中创建一个数据表叫做bb，里面有两个字段。然后执行下面的命令
./sqoop export --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table sqoopbus --export-dir '/opt/bus1/part-m-00001' --fields-terminated-by ','
sqoop
export ##表示数据从hive复制到mysql中
--connect jdbc:mysql://192.168.192.129:3306/bus
--username root
--password root
--table sqoopbus ##mysql中的表，即将被导入的表名称  注意：sqoopbus必须存在
--export-dir '/opt/bus1/part-m-00001' ##hive中被导出的文件/HDFS中的文件
--fields-terminated-by ',' ##hive中被导出的文件字段的分隔符/HDFS中的文件字段的分隔符


命令执行完后，再去观察表bb中的数据，是不是已经存在了！
1、列出mysql数据库中的所有数据库
./sqoop list-databases --connect jdbc:mysql://192.168.192.129:3306 -username root -password root
回到顶部
2、连接mysql并列出数据库中的表
./sqoop list-tables --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root
回到顶部
3、将关系型数据的表结构复制到hive中
./sqoop create-hive-table --connect jdbc:mysql://192.168.192.129:3306/bus --table student --username root --password root --hive-table student2  --fields-terminated-by "\0001"  --lines-terminated-by "\n";
参数说明：
--fields-terminated-by "\0001"  是设置每列之间的分隔符，"\0001"是ASCII码中的1，它也是hive的默认行内分隔符，  需同创建hive表时保持一致, 而sqoop的默认行内分隔符为"," 
--lines-terminated-by "\n"  设置的是每行之间的分隔符，此处为换行符，也是默认的分隔符；
例子
#指定列
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --columns "employee_id,first_name,last_name,job_title"
#使用8个线程
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    -m 8
#快速模式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --direct
#使用sequencefile作为存储方式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --class-name com.foocorp.Employee --as-sequencefile
#分隔符
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --fields-terminated-by '\t' --lines-terminated-by '\n' \
    --optionally-enclosed-by '\"'
#导入到hive
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --hive-import
#条件过滤
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --where "start_date > '2010-01-01'"
#用dept_id作为分个字段
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --split-by dept_id
#追加导入
$ sqoop import --connect jdbc:mysql://db.foo.com/somedb --table sometable \
    --where "id > 100000" --target-dir /incremental_dataset --append
sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table visits \
--incremental lastmodified \
--check-column last_update_date \
--last-value “2013-05-22 01:01:01”
 数据库中有一列last_update_date，记录了上次修改时间；
 Sqoop仅将某时刻后的数据导入Hadoop。
参考http://www.aboutyun.com/thread-9983-1-1.html或有道云笔记