Hive数据导入到Oracle数据库的操作方法
来源:互联网 发布:各乡镇人口数据 编辑:程序博客网 时间:2024/06/05 00:54
具体操作步骤如下:
--1.创建测试表
create table test0825(id int, name string)
row format delimited
fields terminated by ','
stored as textfile;
--2.创建测试文件test0825.txt
1,test01
2,test02
3,test03
4,test04
5,test05
字段以逗号分隔
--3.往hive表中添加测试数据
hive -e "load data local inpath './test0825.txt' into table hduser0401.test0825";
--4.查看hive表对应的HDFS
[hduser0401@dev-l002782 ~]$ hive -S -e "show create table hduser0401.test0825";
16/08/25 17:11:23 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2-hive.properties
16/08/25 17:11:23 INFO impl.MetricsSinkAdapter: Sink mysink0 started
16/08/25 17:11:23 INFO impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
16/08/25 17:11:23 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 1 second(s).
16/08/25 17:11:23 INFO impl.MetricsSystemImpl: hive metrics system started
createtab_stmt
CREATE TABLE `hduser0401.test0825`(
`id` int,
`name` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'hdfs://dev-l002781.app.paic.com.cn:9000/user/hive/warehouse/hduser0401.db/test0825'
TBLPROPERTIES (
'numFiles'='2',
'COLUMN_STATS_ACCURATE'='true',
'transient_lastDdlTime'='1472114461',
'totalSize'='18',
'numRows'='0',
'rawDataSize'='0')
可以看出文件存放目录为:/user/hive/warehouse/hduser0401.db/test0825
--5.使用sqoop导出数据到Oracle中
sqoop export -D mapred.job.queue.name=queue02 --connect jdbc:oracle:thin:@d0esdm.dbdev.paic.com.cn:1526:D0ESDM --username PA18ODSDATA --password pa182007 --export-dir '/user/hive/warehouse/hduser0401.db/test0825' --columns id,name --verbose --table test0825 --input-fields-terminated-by ',' --input-lines-terminated-by '\n'
6.登陆Oracle数据库查看据
Connected as pa18odsdata
SQL> select * from test0825;
ID NAME
---------- --------------------
5 test05
4 test04
3 test03
1 test01
2 test02
补充:如果Hive中的test0825表字段是以\001分隔,那么导出命令为:
--1.创建测试表
create table test0825(id int, name string)
row format delimited
fields terminated by ','
stored as textfile;
--2.创建测试文件test0825.txt
1,test01
2,test02
3,test03
4,test04
5,test05
字段以逗号分隔
--3.往hive表中添加测试数据
hive -e "load data local inpath './test0825.txt' into table hduser0401.test0825";
--4.查看hive表对应的HDFS
[hduser0401@dev-l002782 ~]$ hive -S -e "show create table hduser0401.test0825";
16/08/25 17:11:23 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2-hive.properties
16/08/25 17:11:23 INFO impl.MetricsSinkAdapter: Sink mysink0 started
16/08/25 17:11:23 INFO impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
16/08/25 17:11:23 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 1 second(s).
16/08/25 17:11:23 INFO impl.MetricsSystemImpl: hive metrics system started
createtab_stmt
CREATE TABLE `hduser0401.test0825`(
`id` int,
`name` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'hdfs://dev-l002781.app.paic.com.cn:9000/user/hive/warehouse/hduser0401.db/test0825'
TBLPROPERTIES (
'numFiles'='2',
'COLUMN_STATS_ACCURATE'='true',
'transient_lastDdlTime'='1472114461',
'totalSize'='18',
'numRows'='0',
'rawDataSize'='0')
可以看出文件存放目录为:/user/hive/warehouse/hduser0401.db/test0825
--5.使用sqoop导出数据到Oracle中
sqoop export -D mapred.job.queue.name=queue02 --connect jdbc:oracle:thin:@d0esdm.dbdev.paic.com.cn:1526:D0ESDM --username PA18ODSDATA --password pa182007 --export-dir '/user/hive/warehouse/hduser0401.db/test0825' --columns id,name --verbose --table test0825 --input-fields-terminated-by ',' --input-lines-terminated-by '\n'
6.登陆Oracle数据库查看据
Connected as pa18odsdata
SQL> select * from test0825;
ID NAME
---------- --------------------
5 test05
4 test04
3 test03
1 test01
2 test02
补充:如果Hive中的test0825表字段是以\001分隔,那么导出命令为:
sqoop export -D mapred.job.queue.name=queue02 --connect jdbc:oracle:thin:@d0esdm.dbdev.paic.com.cn:1526:D0ESDM --username PA18ODSDATA --password pa182007 --export-dir '/user/hive/warehouse/hduser0401.db/test0825' --columns id,name --verbose --table test0825 --input-fields-terminated-by '\001' --input-lines-terminated-by '\n'
阅读全文
0 0
- Oracle数据导入到Hive数据库的操作方法
- Hive数据导入到Oracle数据库的操作方法
- 从Oracle数据库中导入数据到Hive中的脚本
- 通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程
- Sqoop 连接Oracle导入数据到hive
- sqoop导入数据到关系型数据库到hive
- 向数据库表中导入H码数据的操作方法
- 如何把EXCEL的数据导入到ORACLE数据库中
- oracle的数据导入到pgsql数据库中的测试
- excel数据导入到oracle数据库的方法总结
- 导入Excel数据到Oracle数据库的脚本
- Sqoop工具使用(一)--从oracle导入数据到hive
- 导入文本数据(oracle表)到hive
- Excel数据导入到oracle数据库
- SQLServer数据导出导入到Oracle数据库
- 运用sqoop将数据从oracle导入到hive中的注意的问题
- sqoop将mysql数据导入到hive指定的数据库中
- sqoop导入数据到hive
- 欢迎使用CSDN-markdown编辑器
- linux驱动开发
- Django学习笔记(一)--安装与创建工程
- Java面试题集(86-115)
- Windows C++中嵌入Python脚本含import numpy等库出现问题
- Hive数据导入到Oracle数据库的操作方法
- 【每日一句shell】把100天前的文件打包并且删除
- 数组中最短无序序列
- printf打印颜色输出控制
- Spark开发-控制操作
- XTU 1275 Exam Schedule(暴力)
- 什么时候使用Unchecked Exception / Checked Exception?
- Java面试题集(116-135)
- zookeeper报错