sqoop1.99.7安装

sqoop介绍

sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库(sqlserver、mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： SqlServer、MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

关于本教程

本教程主要讲sqoop2的安装
sqoop2分为2部分，server端和client端，sqoop2和sqoop1彼此之间不兼容，大家使用的时候请注意。
教程以sqoop1.99.7版本为例。
hadoop版本为2.7.3
系统为unbutu 14.04

sqoop1.99.7 server安装

1. sqoop1.99.7 下载地址
   http://apache.fayea.com/sqoop/1.99.7/
   
   sqoop-1.99.7-bin-hadoop200.tar.gz是我们要下载的sqoop包

2. sqoop1.99.7 文档地址
   http://sqoop.apache.org/docs/1.99.7/index.html
   文档为英文

3. 将安装包解压到指定目录，因为是已经编译好的，所以安装过程非常简单

   tar -xzvf sqoop-1.99.7-bin-hadoop200.tar.gzmv sqoop-1.99.7-bin-hadoop200 sqoop1.99.7

4. sqoop目录说明
   bin：可执行脚本，一般使用sqoop都是通过这个目录中的工具调用，是一些shell或batch脚本。
   conf：存放配置文件
   docs：sqoop的一些帮助文件
   server：里面只有一个lib目录，存了很多jar文件，是sqoop2 的server包。
   shell：同理，sqoop2的shell包。
   tools：同理，sqoop2的工具包。

5. sqoop配置
   5.1 java环境
   5.2 hadoop2.7.3环境
   5.3 如果HADOOP_HOME没有配置，需要配置
   HADOOP_HOME=hadoop安装目录
   5.4 配置sqoop系统环境变量
   SQOOP_HOME=sqoop的安装目录
   把SQOOP_HOME/bin添加到PATH变量中
   5.5 配置sqoop第三方jar包引用目录变量，在sqoop安装目录新建目录exlib（目录名字根据喜欢自己起），添加
   SQOOP_SERVER_EXTRA_LIB=第三方jar包目录
   5.6 配置hadoop core-site.xml文件
   添加2个属性

   <property>  <name>hadoop.proxyuser.$SERVER_USER.hosts</name>  <value>*</value></property><property>  <name>hadoop.proxyuser.$SERVER_USER.groups</name>  <value>*</value></property>

   其中$SERVER_USER是运行sqoop的用户，我这里是用hadoop用来来运行sqoop的，所以这个地方我填写hadoop。
   5.7 配置sqoop目录下conf里面的sqoop.properties
   org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop2.7/etc/hadoop #/home/hadoop/hadoop2.7/etc/hadoop是hadoop的配置文件存放目录，请根据项目实际情况自行修改
   5.8 验证sqoop是否配置成功

   sqoop2-tool verify···Verification was successful.Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly  

   5.9 启动sqoop server

   sqoop2-server start

sqoop client 安装

只需要将安装包解压到linux系统的指定目录，然后配置
SQOOP_HOME=sqoop目录
添加将$SQOOP_HOME/bin添加到PATH变量中就安装成功了。
我们通过sqoop2-shell 即可启动sqoop2 的client。