sqoop概念和安装部署

sqoop数据迁移

1.概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；

导出数据：从Hadoop的文件系统中导出数据到关系数据库

 

2. 工作机制

将导入或导出命令翻译成mapreduce程序来实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3.安装

安装sqoop的前提是已经具备java和hadoop的环境

3.1下载并解压

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C apps/

3.2 修改配置文件

cd  /home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf

mv sqoop-env-template.sh sqoop-env.sh

ll

which hadoop

 

vi sqoop.env.sh

3.3 加入mysql的jdbc驱动包

我的是从hive的lib下面拷贝过来的

cp /home/hadoop/apps/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.40-bin.jar      /home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

3.4 验证启动 

cd  /home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin   

 ./sqoop-version

安装成功！