Sqoop 1.4.4 配置安装
来源:互联网 发布:日语软件测试 编辑:程序博客网 时间:2024/05/18 02:33
这次因为需要将Oracle的数据迁移到HDFS中进行分析,所以在项目中用到了Sqoop,本文中所说明的配置方法是以此为目的的。
Sqoop 1.4.4 的安装非常简单,在配置好了Hadoop集群了之后,配置Sqoop只需要简单的几步就可以完成。
配置安装:
1.下载并解压Sqoop
2.设置环境变量
我的环境变量设置如下:
#Sqoop 1.4.4export SQOOP_HOME=/home/hadoop/sqoop_direxport PATH=$PATH:$SQOOP_HOME/bin
需要注意的一点是确保Hadoop集群的环境变量中包含如下设置,否则在执行Sqoop命令时会出现无法进行reduce等错误。
export HADOOP_MAPRED_HOME=${HADOOP_HOME}export HADOOP_COMMON_HOME=${HADOOP_HOME}
环境变量修改之后,需要source/etc/profile使修改生效。
3.如果不使用HBase的话,需要将$SQOOP_HOME/bin/configure-sqoop文件中的如下内容注释掉,否则在执行Sqoop时,每次都会对其进行检查,虽然可以执行,但是还是会弹错误
## Moved to be a runtime check in sqoop.#if [ ! -d "${HBASE_HOME}" ]; then# echo"Warning: $HBASE_HOME does not exist! HBase imports will fail."# echo'Please set $HBASE_HOME to the root of your HBase installation.'#fi ## Moved to be a runtime check in sqoop.#if [ ! -d "${HCAT_HOME}" ]; then# echo"Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."# echo'Please set $HCAT_HOME to the root of your HCatalog installation.'#fi
4. 下载与Oracle版本符合的ojdbc,并将其放到$SQOOP_HOME/lib下面
5.将Sqoop根目录上传到HDFS
到此为止已经可以使用可以使用sqoop help命令查看sqoop的帮助了,但是在进行迁移的时候,会显示找不到相应的一些jar文件,同时注意到了错误中显示的地址为HDFS中的地址,因此将整个sqoop文件夹复制到了HDFS中,HDFS中的路径需要与Linux中的绝对路径一致,上传之后就可以正常使用它将Oracle中的数据迁移到HDFS中了。
0 0
- Sqoop 1.4.4 配置安装
- sqoop 1.4 安装配置
- sqoop-1.4.6安装配置
- 【配置】sqoop安装配置
- Sqoop-1.4.6的安装和配置
- sqoop-1.4.6 安装及配置
- SQOOP的安装配置
- sqoop安装配置
- SQOOP的安装配置
- sqoop之安装配置
- Sqoop配置安装
- sqoop 1.99 安装配置
- sqoop 1.99 安装配置
- Sqoop安装配置
- Sqoop安装与配置
- sqoop安装与配置
- Sqoop安装配置教程
- Sqoop的安装配置
- 树莓派3g网卡短信
- 微博短链接的生成算法(Java 版本)
- spring mvc + spring + myBatis + mysql 配置案例
- 神经网络
- 确定比赛名次
- Sqoop 1.4.4 配置安装
- MD5简介与代码实现
- substring用法
- 解决无法挂载Linux文件系统的问题
- 左移(<<)与右移(>>)
- Hibernate的回调机制
- Static的作用
- Legal or Not
- (intermediate) 最短路 UVA 10841 - Lift Hopping in the Real World