Sqoop应用实例
来源:互联网 发布:linux开机no such file 编辑:程序博客网 时间:2024/05/17 03:16
#自定义的sql导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--query 'SELECT tid,tname,tlevel from fbd_trade WHERE tid<20 AND $CONDITIONS' \
--split-by fbd_trade.tid
--target-dir /user/hive/warehouse/test.db/fbd_trade
#增量导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--incremental append \
--check-column tid \
--last-value 30 \
--columns "tid,tname,tlevel" \
--target-dir /user/hive/warehouse/test.db/fbd_trade
#创建hive表
create table fbd_trade_test (
tid INT
, tname STRING
, tlevel INT
)
STORED AS TEXTFILE;
#导入hive表
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
#hive增量导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<20" \
--hive-import \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
如果这样导入,则导入一次就会产成一个数据文件,所以如果数据量小就用增量导入的形式
而采用全量导入这样可以减少hdfs中的小文件。
#指定导入的密码文件
sqoop import --options-file import.txt \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<10" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
#import.txt内容
--connect
jdbc:mysql://10.238.29.164:3306/test_base
--username
root
--password
pwd
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--query 'SELECT tid,tname,tlevel from fbd_trade WHERE tid<20 AND $CONDITIONS' \
--split-by fbd_trade.tid
--target-dir /user/hive/warehouse/test.db/fbd_trade
#增量导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--incremental append \
--check-column tid \
--last-value 30 \
--columns "tid,tname,tlevel" \
--target-dir /user/hive/warehouse/test.db/fbd_trade
#创建hive表
create table fbd_trade_test (
tid INT
, tname STRING
, tlevel INT
)
STORED AS TEXTFILE;
#导入hive表
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
#hive增量导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<20" \
--hive-import \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
如果这样导入,则导入一次就会产成一个数据文件,所以如果数据量小就用增量导入的形式
而采用全量导入这样可以减少hdfs中的小文件。
#指定导入的密码文件
sqoop import --options-file import.txt \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<10" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test
#import.txt内容
--connect
jdbc:mysql://10.238.29.164:3306/test_base
--username
root
--password
pwd
0 0
- sqoop应用实例1
- Sqoop应用实例
- sqoop应用
- CDH SQOOP 2实例
- Sqoop简介与实例
- Sqoop使用实例讲解
- Sqoop使用实例讲解
- Sqoop初步搭建+应用
- sqoop的基本应用要点
- Sqoop架构以及应用介绍
- Sqoop架构以及应用介绍
- Sqoop语句简单案例应用
- sqoop配置与简单应用
- Sqoop架构以及应用介绍
- Sqoop: 环境搭建、实例及概念
- Sqoop数据导入大数据平台实例
- SQOOP
- Sqoop
- Android之UI开源框架
- sicily1001 全排列(升序)
- Android Activity切换动画(解决back键后退失效问题)
- UIViewController的生命周期
- Android项目,从web上取下汉字,中文部分乱码
- Sqoop应用实例
- 082.Pointer Array 指针数组
- Thread和Runnable一些区别以及线程的同步
- UED大全
- c++中try_catch的使用,二维数组动态创建
- 芒果iOS开发32位和64位操作系统切换
- android开发很有用的工具网址
- cocos2dx-3.2(35) ClippingNode 遮罩
- C#中弹出式窗体如何避免闪烁?