使用sqoop --options-file 导入hive数据

来源：互联网发布：画树状图软件编辑：程序博客网时间：2024/05/19 20:20

[Author]: kwu

使用sqoop --options-file直接导入hive数据，把操作命令语句写在文件中，便于管理及管理

1、创建hive数据库及表

create database DB_TEST;

CREATE TABLE

UserRegLoginLog
(
ID BIGINT,
fld_date TIMESTAMP,
fld_ip string,
fld_server_ip string,
fld_UA string,
UserId BIGINT ,
UserName string,
PassWord string,
ActionType INT ,
ActionTime TIMESTAMP ,
ActionIP string,
FromHost string,
UrlRefer string,
RemotePort string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;

2、编写sqoop操作文件，注意做分隔符需要与hive的一致

vi UserRegLoginLog_hive.opt

import --connect jdbc:jtds:sqlserver://localhost:1433;;DatabaseName=DB_TEST --username sa --password 123456--table UserRegLoginLog--where1=1--columns" ID ,fld_date ,fld_ip ,fld_server_ip ,fld_UA ,UserId  ,UserName ,PassWord ,ActionType  ,ActionTime  ,ActionIP ,FromHost ,UrlRefer,RemotePort "--fields-terminated-by '\t'--hive-import--hive-overwrite--hive-drop-import-delims--hive-tableDB_TELECAST.UserRegLoginLog

使用sqoop --options-file 执行操作文本

sqoop --options-file ./UserRegLoginLog_hive.opt

3、指定hive的数据库，格式为: 数据库.表名

DB_TEST.UserRegLoginLog

3 0