sqoop

来源:互联网 发布:四川省图书馆网络 编辑:程序博客网 时间:2024/05/16 01:32
sqoop是把mysql里面东西导入到Hbase里面
要求:hadoop正常启动
主要内容 
 解压并安装 Sqoop 
 配置 Sqoop 
 启动并验证 Sqoop 
1解压并安装
[zkpk@master ~]$ cd /home/zkpk/resources/software/hadoop/apache 
[zkpk@master apache]$ mv ~/resources/software/hadoop/apache/sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz ~/ 
[zkpk@master apache]$ cd 
[zkpk@master ~]$ tar -zxvf ~/sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz  
[zkpk@master ~]$ cd ~/sqoop-1.4.5.bin__hadoop-2.0.4-alpha  
ll
2、 配置 Sqoop 

(1) 将 mysql 的 java connector 复制到依赖库中,其中,第 3、4 行是一行代码(需要在一 行中键入这两行的内容,每行之间使用空格隔开,然后键入回车执行) 
[zkpk@master ~]$ cd /home/zkpk/resources/software/mysql 
[zkpk@master mysql]$ tar -zxvf ~/resources/software/mysql/mysql-connector-java-5.1.27.tar.gz 
[zkpk@master mysql]$ cp 
~/resources/software/mysql/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar 
~/sqoop-1.4.5.bin__hadoop-2.0.4-alpha/lib/  
(2)配置环境变量
[zkpk@master ~]$ cd ~/sqoop-1.4.5.bin__hadoop-2.0.4-alpha/conf 
[zkpk@master conf]$ cp sqoop-env-template.sh sqoop-env.sh  
将该文件 sqoop-env.sh 内容替换为: 
#Set path to where bin/hadoop is available  
export HADOOP_COMMON_HOME=/home/zkpk/hadoop-2.5.2   
#Set path to where hadoop-*-core.jar is available  
export HADOOP_MAPRED_HOME=/home/zkpk/hadoop-2.5.2   
#set the path to where bin/hbase is available  
export HBASE_HOME=/home/zkpk/hbase-0.98.9-hadoop2  
#Set the path to where bin/hive is available  
export HIVE_HOME=/home/zkpk/apache-hive-0.13.1-bin  
#Set the path for where zookeper config dir is  
#export ZOOCFGDIR=/usr/local/zk  
3、启动并验证
[zkpk@master ~]$ cd  ~/sqoop-1.4.5.bin__hadoop-2.0.4-alpha 
[zkpk@master sqoop-1.4.5.bin__hadoop-2.0.4-alpha]$ bin/sqoop help 
执行命令后会看到下面的打印输出,表示安装成功: 

0 0
原创粉丝点击