Sqoop的安装配置

来源:互联网 发布:para海外专营店淘宝 假 编辑:程序博客网 时间:2024/05/18 02:24

一.sqoop的功能

sqoop是实现hadoop与关系数据库(RDBMS)之间的数据迁移工具。通过Sqoop可以方便的将RDBMS的数据和hdfs、hbase、hive上的数据进行相互导入导出。

二.sqoop的安装

1.下载压缩包  https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
  2.解压,配置环境变量
     tar –xzfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/  ->解压  (直接在可视化页面解压也可以)


     vim /etc/profile   ->修改文件,配置环境变量:

     在文件最后加上下面两行(其中SQOOP_HOME后面的值为你解压的路径)
     export SQOOP_HOME=/usr/local/sqoop-1.4.6
     export PATH=$PATH:$SQOOP_HOME/bin


    最后再更新环境变量的值  source /etc/profile

   先复制sqoop[-env-template.sh文件,重命名
    配置$SQOOP_HOME  :/conf/sqoop-env.sh



因为sqoop是hadoop与关系型数据库之间的数据交换,所以需要使用相关数据的jar包,这儿我们用的是mysql,所以需要下载mysql的链接jar包,然后放在sqoop的家目录下的lib目录下。
  wget http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar ->下载

  mv mysql-connector-java-5.1.32-bin.jar /usr/local/sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz/lib/  ->添加jar包(复制jar包,放到sqoop-1.4.6的lib文件中)


安装完成后简单验证(显示所有数据库)




原创粉丝点击