安装sqoop2

来源：互联网发布：柏林战役知乎编辑：程序博客网时间：2024/05/21 16:57

环境

hadoop 2.2.0

Sqoop sqoop-1.99.3

前提：

Hadoop 2.2.0 已经安装配置完成，并能正常工作。 hadoop 2.2 配置请看我的其他帖子

步骤：

1. 下载 Sqoop sqoop-1.99.3 地址：sudo wget http://mirrors.hust.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3.tar.gz

2. 修改/etc/profile

vim /etc/profile

export SQOOP_HOME=/opt/sqoop

export CATALINA_BASE=$SQOOP_HOME/server

3. 修改sqoop配置：

vi server/conf/sqoop.properties

将org.apache.sqoop.submission.engine.mapreduce.configuration.directory后面hadoop的位置修改为自己安装的hadoop配置文件位置，我的为:/opt/hadoop

4. 修改sqoop读取hadoop的jar包的路径：

vi /sqoop/server/conf/catalina.properties

将common.loader行后的/usr/lib/hadoop/lib/*.jar改成自己的hadoop jar 包目录，我的为：

/opt/hadoop/share/hadoop/common/*.jar,/opt/hadoop/share/hadoop/common/lib/*.jar,/opt/hadoop/share/hadoop/hdfs/*.jar,/opt/hadoop/share/hadoop/hdfs/lib/*.jar,/opt/hadoop/share/hadoop/mapreduce/*.jar,/opt/hadoop/share/hadoop/mapreduce/lib/*.jar,/opt/hadoop/share/hadoop/tools/*.jar,/opt/hadoop/share/hadoop/tools/lib/*.jar,/opt/hadoop/share/hadoop/yarn/*.jar,/opt/hadoop/share/hadoop/yarn/lib/*.jar

5. 下载mysql jdbc 的drvier，放在/opt/sqoop/server/lib

5.使用SQOOP：

启动SQOOP:

$./bin/sqoop.sh server start

停止SQOOP：

$./bin/sqoop.sh server stop

进入客户端交互模式:

$./bin/sqoop.sh client

注意：

这个版本比较悲惨，它不支持把数据库中的数据导入到hbase，只能把数据从数据库导入到hdfs

参考：

http://www.68idc.cn/help/jiabenmake/qita/2014042391332.html

0 0