hadoop安装之-sqoop

来源：互联网发布：手机商城网页源码下载编辑：程序博客网时间：2024/06/05 06:24

一、安装准备
1，下载sqoop包 http://mirrors.hust.edu.cn/apache/
sqoop分为1.4和1.9版本，1.9版本为交互版本，即服务器端、客户端，1.4为工具版本，直接运行即可，1.4版本根据hadoop版本来区别，本例使用2.6版本的haddop，所以安装时，选择sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz版本。

二、安装sqoop
1，解压文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到usr/local下
      /usr/local/hbase
2，添加环境变量
      vim /etc/profile
      # set hbase
      export HQOOP_HOME=/usr/local/hqoop
      export PATH=$PATH:$HQOOP_HOME/bin
3，设置sqoop配置文件
(1) sqoop/conf文件夹下，拷贝sqoop-env-template.sh到sqoop-env.sh。

[root@locahost conf]mv  sqoop-env-template.sh  sqoop-env.sh

(2) 修改sqoop-env.sh，如果不存在hbase和zookeeper，则注释掉。

(3) sqoop/bin文件夹下，修改configure-sqoop，注释掉hcat_home，accumulo_home，zookeeper_home相关的check。

4，将mysql-connector-java-5.1.32-bin.jar复制到sqoop/lib下，注意jar包版本需要和mysql版本相近，本例使用mysql5.6.25。

三，使用sqoop
1，列出mysql数据库中所有的数据库
sqoop list-databases --connect jdbc:mysql://192.168.189.10:3306/ -username
2，列出mysql的数据库中所有的表
sqoop list-databases --connect jdbc:mys
3，将mysql数据库的表导入hive
sqoop import --connect jdbc:mysql://192.168.189.10:3306/db1--username root --password 123456 --table user_info --hive-import --hive-database hivedb --hive-table user_info -m 1

0 0