sqoop导入oracle数据至hive
来源:互联网 发布:unity3d 半条命 编辑:程序博客网 时间:2024/06/05 15:19
一、目的
将oracle数据文件dmp中的数据导入到hive中。
目标分解:
由于已有的数据都在dmp文件中,因此要先将dmp文件中的数据导入到oracle中,再将oracle中的表导入到hive中。
二、dmp文件导入到oracle数据库
dmp文件:只有一个不知来源的dmp文件,不知道从哪个数据库中导出的,也不知道导出用户是谁。(不要紧,后面可以根据错误提示一步步改)
oracle数据库:安装oracle 11g 64bit版本。
1.首先尝试使用imp命令导入,发现报错;后改用impdp命令。
2.使用impdp命令的过程中,根据错误提示,找到了正确的使用流程。
3.首先,是创建表空间:
创建一个与dmp文件中名字相同的表空间,数据文件要设置的大一些,因为dmp文件不仅有数据还有索引,导入后会占据oracle很大的空间。
4.然后,创建新的oracle用户:
create user abc identified by abc default tablespace TBS;
并赋予一定的权限:
grant connect,resource to wrs;
grant create session to wrs;
5.下一步,使用管理员创建本地dmp文件的目录:
首先使用system账户登录,
然后
SQL> conn /as sysdba;
SQL> create directory db_bak as 'e:\db_bak';(e:\db_bak目录下存放要导入的dmp文件)
SQL> grant read,write on directory db_bak to abc;(赋予新建的用户abc以读写目录的权限)
6.接下来,就可以正确执行impdp命令了:
打开cmd命令行,执行
impdp abc/abc directory=db_bak dumpfile=001.dmp remap_schema=source:abc full=y;
等待完成即可。
三、oracle数据表导入到hive中
1.首先要保证oracle可以远程访问,因此要关闭防火墙。
2.通过Net Manager配置Oracle 11g本地监听服务。可以参考http://blog.csdn.net/mozart_cai/article/details/8596504
3.打开Net Configuration Assistant,选择 “本地网络服务名配置”,重新配置,进行测试,用新建的用户abc测试。可以参考http://www.cnblogs.com/icerainsoft/archive/2011/11/16/2251568.html
4.使用sqoop将oracle数据导入到hive:
安装sqoop,
将oracle的jdbc驱动包放入到sqoop的lib目录下,
在hive中新建数据库myDB,
执行sqoop导入命令:
sqoop import --connect jdbc:oracle:thin:@<ip>:1521:orcl --username ABC --password abc --table TEST -m 1 --hive-import --create-hive-table --hive-database myDB --hive-table TEST
执行完毕,检查一下数据就可以了。
- sqoop导入oracle数据至hive
- sqoop导入数据至hive
- sqoop hive mysql oracle 数据导入
- 用sqoop将oracle数据导入Hive
- Sqoop 连接Oracle导入数据到hive
- 《Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入》
- 利用sqoop 将 hive/hdfs数据 导入 Oracle中
- Sqoop工具使用(一)--从oracle导入数据到hive
- 利用sqoop 将 hive/hdfs数据 导入 Oracle中
- sqoop导入数据到hive
- sqoop导入数据到hive
- Sqoop导入数据到Hive
- Hive数据导入、sqoop数据导入导出
- oozie定时调用sqoop从oracle中增量导入数据至hive表
- sqoop导入关系型数据库的数据至hive
- 使用Sqoop把Oracle表导入Hive
- Sqoop从Oracle导入表到Hive
- 使用Sqoop把Oracle表导入Hive
- 安卓OTTO框架浅析
- Android---WebView基本用法
- Viola-Jones人脸检测
- 多个Fragment跳转,物理返回键与程序内部返回按钮返回上一个Fragment
- 十八大编程法则提升程序员效率
- sqoop导入oracle数据至hive
- 使用(获取)Images.xcassets中的图片名,不能直接[UIimage ImageWithName:],应该这样
- Winform中DevExpress的一些基本设置
- 二叉树的遍历方式
- myeclipse更改类或者是配置文件不用重启tomcat的方法
- shader
- Android Studio虚拟机插件Genymotion的学习笔记
- Intellij 解除(去除)SVN关联
- 写日志